随着模型参数的增大，智能水平会无限制提升下去吗？

星空中的光龙 2026-07-18 11:24 1

不太了解模型底层训练的原理和相关知识，比较好奇，如果随着模型参数的不断加大，

0.5t^-^1t^-^1.5^-^2t^-^3t^-^10t^-^？

通过持续不断的数据优化和架构改进，模型的智能水平会无限制提升下去吗？还是会达到某个瓶颈就会慢慢变慢。

最新回复 (9)

Bensong 07-18 11:25

1楼

实际上智能还能提升，但是实际使用感觉上差距越来越小了，顶尖任务才能看出来差距了
娜娜米 07-18 11:26

2楼

关键是资料没那么多，所以力大砖飞终究还是有上限的
aoteman221 07-18 11:27

3楼

这不就是之前一直在说的scaling law么，现在都不咋提了，感觉还是不要提前给LLM设想一个上限
suli 07-18 11:28

4楼

越到后面感觉越来是知识库检索，我记得有个是专门给一些“固定搭配”的建字典，这样就不用模型去测概率了
kongkongjun 07-18 11:33

5楼

^-^怎么有点像战斗机的感觉了，苏系靠力大砖，美靠尖端科技
singularity 07-18 11:38

6楼

理论上是的，实际上没有那么多优质资料可喂。
朴实无华 07-18 12:24

7楼

我看大家，把参数量和数据量混为一谈了。这2个不是一个东西，同样的数据量可以训练500B或者10T 都可以，10T明显比500B智力高。scaling law 有3样东西参数数据算力！都是不一样的哈。
liu 07-18 12:39

8楼

transformer是有边际的，现在所有的模型迭代都是在砍编解码，attention机制啥的，实际上大体上没有太大革新，估计越到后面ai更新幅度应该会越来越小，越来越慢了，除非再有什么大的架构变更，反正现在mamba啥的都还是水论文阶段
eroneko 07-18 12:42

9楼

跟CPU有点类似吧，堆核、堆频率、堆IPC，哪个都会遇到瓶颈，届时就需要架构革新了（举个不恰当的例子，x86 → arm）