第一个 10 万亿参数模型要来了？字节跳动秘密训练超大模型

据英国《金融时报》最新报道，字节跳动目前正处于一项超大规模基础模型的预训练阶段，该模型最终规模最高可能达到 10 万亿（10 Trillion）参数。如果顺利完成训练，这将成为全球规模最大的 AI 基础模型之一，也将刷新中国大模型的参数纪录。

消息人士透露，这款模型目前仍处于 Pre-training（预训练） 阶段，这一过程通常需要 3 至 6 个月。最终模型是否达到 10 万亿参数，还将根据训练效果进行调整。

参数规模首次冲击 10 万亿

如果按照报道中的最高规模计算，这款模型将比月之暗面的 Kimi K3（约 2.8 万亿参数） 大出三倍以上，也远超此前国内主流万亿级模型。

报道称，目前业内普遍估计，Anthropic 最新的 Mythos 5 模型约为 8 万亿参数，而字节跳动此次瞄准的目标，甚至可能超过这一规模。由于 Anthropic、OpenAI 等公司并未公开官方参数数量，因此相关数字均来自行业估算。

不过，业内人士也强调，参数规模并不等于模型能力。模型最终性能仍受到训练数据质量、架构设计、推理方式以及训练策略等多种因素影响，因此更大的模型并不一定意味着更好的实际表现。

大就是好^-^^-^^-^

https://www.ft.com/content/9b8383b1-a28d-4940-8c4e-2f0cd21556ef?utm_source=chatgpt.com&syn-25a6b1a6=1