2. NodeSeek
  3. 想找只小鸡用CPU玩玩 1B/2B 的小模型, 玩过的大佬推荐下呗, 很火的bero怎么样

想找只小鸡用CPU玩玩 1B/2B 的小模型, 玩过的大佬推荐下呗, 很火的bero怎么样

uptonking 2026-10-23 21:07 1

小模型用CPU来跑似乎可行， 我的macbook air跑4b/8b的小模型都还行。


趁着马上的黑五/双11活动， 想找台合适的小鸡来玩小模型。

似乎只有性能鸡才能满足这个需求， bero最近很火，不知道跑 1B 左右的模型怎么样。

还是说只有杜甫才能提供足够的性能来跑小模型 🤔


有没有玩过的大佬， 分享下适合AI的小鸡。。。


腾讯有个 1.8b 的翻译模型， 我挺想试试 CPU 部署的，Q4量化版才 1.1GB, 理论上很多小鸡都可以跑

https://huggingface.co/tencent/Hy-MT2-1.8B-GGUF

最新回复 (7)
  • lib 10-23 21:08
    1楼

    1b 能用？

  • uptonking 楼主 10-23 21:09
    2楼

    @lib #1


    聊天、生成标题、总结 这种简单任务可以用小模型的， 本地模型发展快， 1B也很强的

  • lib 10-23 21:10
    3楼

    @uptonking #2 这样啊，好久之前部署过4B的，胡言乱语的

  • wonders 10-23 21:13
    4楼

    我也是，之前部署小模型，觉得妥妥的人工智障……还不如开个网页版gpt，最后还是放弃折腾了，

  • uptonking 楼主 10-23 21:21
    5楼

    @wonders #4

    @lib #3


    通用领域的小模型能力弱也许不适合cpu部署， 特定领域的模型可以试试，

    腾讯有个 1.8b 的翻译模型， 我挺想试试 CPU 部署的，Q4量化版才 1.1GB, 理论上很多小鸡都可以跑， 我想找台合适的

    https://huggingface.co/tencent/Hy-MT2-1.8B-GGUF

  • duyaoo 10-23 21:35
    6楼

    完全没必要，随便找个免费的都比他强（

  • VKON2 10-23 22:29
    7楼

    小模型除非自己拿来做学习用途的微调，或者有隐私需求，不然不如免费云端模型一根🤣

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐