小米/xiaomi AI Cube 推理性能估算

今天小米发了三颗芯片, 把这三颗芯片塞到一个机子的AI Cube, 就非常感兴趣.

我根据今天放出的消息, 尝试推算了如果拿这台AIPC去推 Qwen 3.8 27B会是什么表现.

我们假设这台机子, 塞了一块128g的统一内存, 然后96g可以用于动态分配.

已知:

1. 带宽是1.22TB/s, 终于来了一个肯给带宽的机子了, dgx spark的273GB/s是什么渣渣.


2. 端侧推理速度是330 Tokens/s, 结合第二张图, 可知, 这个速度是在3B模型下跑出来的, 这个模型是一个5值模型, 这个算下来, 只吃了30%~40%的带宽, 感觉是为了给多模态, 语音, 上下文, 留足了带宽空间.

我们采用Qwen 3.8 27B Q8_0版本, 模型文件大小是28.6GB, 为了方便计算, 我们直接按照30GB算

上下文我们直接给拉满到1M, 这部分KV Cache 开销是64GB.

假设1.22TB/s的带宽, 我们只用到8成, 推理速度也可以轻松达到30+ tokens/s, 如果遇上雷霆思考, 还是会有点慢(几千tokens的思维链可能耗时就是10多分钟, 相比40分钟已经是巨大进步)

如果嫌这个慢了, 那么还有Q4_K_M, 做到50tokens/s, 应该也不是难事, 思考时间大幅缩短.

以上都是我的推测, 如果计算有误, 欢迎各位佬指出.

最可惜的是赶上这波硬件大涨价, 想必这台机子也不会便宜.