local.ai 用来选型本地模型

biggun 2026-08-31 11:28 1

有点意思，试着用 mbp m5 max 128GB 跑了这些模型，大差不差，step 的确实能够支撑日常 hermes 使用了。

这个 EigenLabs/Qwen3.8-27B-4bit 的 bench 也很有意思，用 autoresearch 提升模型在 mlx 的 throughput 。但是跑了两天，才达到 192.3 。300 多的怎么搞出来的。