都在说蒸馏fable,有没有懂到底怎么蒸的啊?如果自己有几百个账号能蒸出什么结果/东西来呢? 现在,思维链不展示之后,是不是蒸馏的方法变少了呢?
数据处理才是模型训练的根基,也是人工最大的投入,现在闭源模型头开始加密思维链了,所以需要根据输入和输出,再次调用原始模型来反推思维过程,其实想想工作量就头大,一般个人玩玩,还是蒸馏专题类的数据吧.【开源】llm-tap:采集真实 LLM 交互并筛选导出 SFT 训练数据 - #5,来自 luckfu