本地LLM的元年就快到了……吗?

coupile 2026-08-30 13:13 1

qwen那个ngram我看社区说是可以卸载到硬盘上,那有没有一种可能小中dense(比如27b)+中ngram未来可能是本地跑ai的主流组合呢(仅作猜测)

最新回复 (1)
  • xiaocenfox 08-30 13:51
    1

    27b加ngram这组合我试过,显存占用比纯dense低不少,加载速度也更快

* 帖子来源Linux.do
返回