先叠个甲,本文纯属个人猜测,可能会比较天马行空,异想天开。
我个人认为,模型升级的话,至少应该是像deepseek那样,走以下三点升级路线:
- 要么模型架构升级
- 要么核心算法升级
- 要么内在业务流程升级
我理解如果是通过这三种方式升级得来的模型,对于同样的任务应该是差不多的消耗或者多一点吧,然后展现更智能化的结果。然而近半年来,不论是claude 模型升级还是gpt模型升级,站内每次都是大面积的声讨新模型对5h用量的消耗剧增,这就让我产生了怀疑,这真的是升级了模型,还是说是另有蹊跷?
我个人长久使用自研harness,我目前自研的有5条研发harness,分别是在元问题、设计、研发、测试、模拟部署上。对于我来说,模型升级如果没有切中我的harness内容,换flash或pro模型,对于我的工作流来说,无非就是时间长点或短点,消耗token多点或少点的区别。
两相一对比,也就是说,我在怀疑类似claude、gpt模型等模型架构应该是claude 基模,如opus 4模型,gpt5模型之外,还有一层harness,而每次模型升级也就是升级基模外的这层harness。
如果该猜测为正确,那么可以解释两个问题:
为什么模型升级得那么快?
每次模型升级,比如opus 4.6 → 4.7 → 4.8,其实都是在优化harness内在环节,比如这个环节加个检查点,多复核一道,那个环节加个ralph loop,再保证一道输出质量等等这些操作。这等于就是我们传统的web/app的功能迭代了,不要说现在两个月/一个月升级一次,那即使1周升级一次也说得通。
同样这里还有一个证据:sonnet 4.6到sonnet 5的时间周期,以及为什么没有sonnet 4.7\4.8,可能是人手不够,sonnet的harness团队移到了opus去,为了持续占领大模型头把交椅的位置。
为什么模型每次升级,5H消耗带来得更多?
按照着1的推测结果继续聊,事情就变得明朗了,环节增加了,消耗自然增加,无非就是原先你发一句prompt,模型丢给你一个质量差的output,然后再回到你的回合,变成了模型带的harness自己的ralph loop环节中了,通俗来说,也就是手动化转自动化。
如果该推测成真,那就更能证明deepseek为什么可以成为大模型斩杀线的原因了,据我个人体验deepseek就是纯模型,没有外面那么harness,这个harness得自己做,这里可以看我往期deepseek + harness的博客,deepseek pro即使是high + harness,效果远超sonnet。有可能deepseek团队也意识到了这点,所以对harness团队的招聘一直在集中,当然除了正在做的deepseek code以外,也就是说将来deepseek可能也会采取基模+harness的模式实现模型工程化的快速迭代。