不知道各位佬有没有【蒸馏自己】这方面的经验？

比起一个像自己的赛博人，你会得到一个像GPT的GPT

对 感觉它给我的回复，像是本身模型就会给的答案，而不是自己的逻辑给的。好像冷静分析那一挂，都长一个样儿的味道 ^-^

这真没招，用gemini或者claude的效果可能会好一点，但是这仍然需要few shot，你得准备你的一大堆语料或者行为模式，而且还得是各种领域，各种方面，各种场合的学习资料。如果你有你自己的海量行为数据，你就可以拿去微调模型，哎，但是我说实话，实现上很难，效果上也不好

我还没试过投喂大量自己的资料进去，我去尝试一下了，之后再结合酒馆那一套试试 ^-^ 真没招了哈哈哈 感谢佬的分享 ^-^

记得有个nvwa 啥的skill来着

女娲skill？ 我去瞅瞅 ^-^~ 感觉可以学它的思路来搞

还是不太明白，如何自己蒸馏自己。

大概是大量投喂自己的言行举止和思想逻辑？如果有经常写些小随笔小日记什么的会比较有帮助

这个问题其实咋说呢，就是一个非常好笑悖论：

1、你有什么比大模型已经学习过的知识更值得大模型学习的东西呢？

2、如果确实没有，你所谓的蒸馏就是想把能力强得多的标准大模型，大幅度向下限制到你自己的水平吗？

3、图什么呢？

所以你需要搞清楚自己的目的。

你是想要大模型学习你认为你有，大模型没有的知识？还是让大模型学习怎么扮演你。

前者回看上面的玩笑，后者其实是可以做到的，不过需要很多你平时聊天、写邮件、记笔记的语料，并且明确的告诉大模型：我是希望用大模型模仿我的表达风格和思考链路。

核心关键字：模仿、扮演。