蒸馏?都在说蒸馏,怎么蒸啊?

缠枝东 2026-07-22 17:12 1

都在说蒸馏fable,有没有懂到底怎么蒸的啊?如果自己有几百个账号能蒸出什么结果/东西来呢?

现在,思维链不展示之后,是不是蒸馏的方法变少了呢?

最新回复 (1)
  • luckfu 07-22 18:36
    1

    数据处理才是模型训练的根基,也是人工最大的投入,现在闭源模型头开始加密思维链了,所以需要根据输入和输出,再次调用原始模型来反推思维过程,其实想想工作量就头大,一般个人玩玩,还是蒸馏专题类的数据吧.【开源】llm-tap:采集真实 LLM 交互并筛选导出 SFT 训练数据 - #5,来自 luckfu

* 帖子来源Linux.do
返回