谁说这本地模型没用了,这本地模型可救大命了 :laughing:

七叶怀瑾 2026-08-02 02:23 1

kimi给我配置singbox,二话不说就把我电脑网络弄炸了, 他自己都连不上,只留下我一个人大半夜的看着个agent在后台宕机。。。


正当我独自凌乱的时候,突然想起来自己的pi之前给接入了 lmstudio,而且里面还正好还有qwythos-9b-claude-mythos-5-1m


果断让本地模型开干!


结果就是完美直接秒了,全程就让我弄个sudo,剩下的自己排查自己分析,嘎嘎爽,不用我自己再去挨个扒拉原因了QWQ


这下不得不开玩本地模型了呀 ^-^ 救个急还是太好用了哈哈


本机参数:


大概本地模型的上下文能开到100k,再往上就爆显存了。

5070ti笔记本版,大概能跑50tok/s,速度还不错诶

最新回复 (2)
  • kvchiu 08-02 02:38
    1

    笔记本型号ROG Zephyrus G16 GU605CR



    佬友具体部署的是哪个量化版本?

  • Monika 08-02 03:11
    2

    Mythos ? 这个模型佬友觉得怎么样?


    8GB 本地部署会不会很蠢啊 . . .

* 帖子来源Linux.do
返回