处理器好不容易有点性能过剩的势头，AI 一来又不够了

有没有可能正好是处理器性能发展到一定程度才能出现AI

显存瓶颈一下子出来了不是

@lxl #1 不太是，其实机器学习也不是现代才提出来的。现在的神经网络机器学习算法大概是上世纪 80 年代就开始做了，后来很多类似于图像识别之类的，也很早有了很不错的应用。只不过在语言模型上，因为语言模型非常复杂，所以很多尝试以后都放弃了，没有人知道，在什么样的体量下会迎来质变，所以包括巨头也没有愿意在语言模型上做大量的训练。实际上当时 GPT 3.5 惊艳全世界，也是因为他们发现不断的堆训练数据的规模，到一个点后会突然迎来质变，也就是它突然能听懂人话了，而且也会说人话了。3.5 的训练参数大概只有现在的 1%。实际上 GPT 4 的时候就已经比 3.5 的规模大概要高几十倍了，但显然过去的三四年，计算机的发展远远没有这个规模，所以如果当初就有人往这个方向研究的话，可能 10 年前就能做出 3.5 这样的模型。

大模型跟个人电脑没啥关系吧，自己电脑跑性价比太低了

CPU性能依旧是过剩的。现在算力紧张还是因为GPU以及内存储存的问题。特别是GPU和内存之间的带宽。

@jtyytzl #3 发布于2026/7/19 23:23:47

@lxl #1 不太是，其实机器学习也不是现代才提出来的。现在的神经网络机器学习算法大概是上世纪 80 年代就开始做了，后来很多类似于图像识别之类的，也很早有了很不错的应用。只不过在语言模型上，因为语言模型非常复杂，所以很多尝试以后都放弃了，没有人知道，在什么样的体量下会迎来质变，所以包括巨头也没有愿意在语言模型上做大量的训练。实际上当时 GPT 3.5 惊艳全世界，也是因为他们发现不断的堆训练数据的规模，到一个点后会突然迎来质变，也就是它突然能听懂人话了，而且也会说人话了。3.5 的训练参数大概只有现在的 1%。实际上 GPT 4 的时候就已经比 3.5 的规模大概要高几十倍了，但显然过去的三四年，计算机的发展远远没有这个规模，所以如果当初就有人往这个方向研究的话，可能 10 年前就能做出 3.5 这样的模型。

你都说了，很久以前就有机器学习了，但是一直发展不起来，到最近才发展起来，所以我认为最大的原因就是处理器性能达到了一定程度了

@lxl #6 换个说法吧，假设你手上有 100 万，你也大概率不太会愿意花 20 万一次性买一份彩票，即使这 20 万你能出得起，而对于计算精明的大公司则更是这样，因为在机器学习领域，长时间以来都认为语言模型几乎是不可攻克的，所以没有人朝这个方向上去试。当然，如果你说的是这些年计算机的发展带来单位算力价格的下降，那可能有一定联系，也就是前些年，可能花现在 5.6 的训练算力成本，也只能训练出一个 3.5 的模型