1w token 每秒

“知识的海洋”
“全是大便味道的”

瓶颈跟性能没什么关系。
核心还是上下文长度、注意力机制、上下文捕获能力，以及最终的概率泛化能力上。

h3 可以实时直播了

丢，那刚想出来一个念头，AI 直接落地了（文字方面）。

没啥用 mimo 有每秒 1000t 的 api, 体验下来还是会受到本地命令执行速度的限制

有一家公司就是把 Llama 3.1 8B 模型权重直接固化在芯片中，速度能到是 1.7W token/s 。

虽然把 opus 这种级别的固化在芯片上的可能性不高，但是其他差不多的模型如果能固化在上面，装一个芯片可能就拥有相关的能力，还是挺强的。

https://chatjimmy.ai/ 可以在线体验一下速度。

如果你说的能够实现，以后的软件就是多个业务领域本体约束+Agent 实时翻译自然语言的方式，具体实现某些功能是不经济的，因为会被其他 Agent 分钟级地反编译出来，不如把开发 token 成本转到 runtime 上。。

不过我觉得就算码农会消失，软件工程也不会消失

以后的大趋势，应该是念头说出来，AI 直接输出可执行的 native binary ，连 coding ，编译都跳过了。