2. NodeSeek
  3. Hermes本地模型

Hermes本地模型

Rick的-2026 2026-08-02 12:23 1

rt，我自己的电脑下载的本地模型，8b，14b，27b都不行，要么上下文不够64k，要么就是各种报错，最后找了个9b的勉强能跑，但是非常非常慢，回复一句话就要一分钟，做个简单的任务更是半小时起步，不知道哪里出问题了，明明在ollama上几百token的速度，在Hermes超级慢

最新回复 (27)
  • mingyun 08-02 12:24
    1楼

    让他自己优化下

  • Rick的-2026 楼主 08-02 12:25
    2楼

    @mingyun #1 大佬有没有好一点的模型推荐呢？GPT推荐的都不能用，下了删，删了下，折腾两天了才搞个9b的勉强用

  • mingyun 08-02 12:28
    3楼

    @Rick的-2026 #2 这个得看你本地的配置吧 一般都是千问的

  • descend 08-02 12:28
    4楼

    hermes开启一个新对话即便你发一个"hi"，也会载入上万token的提示词。

    这对于1M上下文线上大模型来说，2万token不算什么；

    但是对于本地模型这种本身上下文窗口就小的来说，模型消化这些提示词所需要的时间就很长

  • bahua 08-02 12:32
    5楼

    非必要别本地部署 本地部署的话起码qwen3.6 27b稠密模型吧，上下文256k，不然直接用deepseekv4f

  • Rick的-2026 楼主 08-02 12:33
    6楼

    @descend #4 对，就是感觉每次对话它都会把模型全部跑一遍，而不是跑部分

  • 7up 08-02 12:33
    7楼

    可以试试这个

    https://huggingface.co/tvall43/Qwen3.6-14B-A3B-FableVibes-GGUF

  • Rick的-2026 楼主 08-02 12:33
    8楼

    @bahua #5 27b电脑跑不动

  • Rick的-2026 楼主 08-02 12:34
    9楼

    @7up #7 谢谢，晚上我回去试一下

  • descend 08-02 12:35
    10楼

    @Rick的-2026 #6 本地大模型我也玩过一段时间，现在各大厂家的api卷成这样，越来越没有玩的必要了；本地模型只建议用来做hermes agent的辅助模型，最推荐 deepseek-v4-flash作为主模型，本地跑一个qwen的多模态小模型用来辅助视觉识别这样

  • youarenothack 08-02 12:36
    11楼

    我 等 4060 只可远观不可亵玩焉

  • Rick的-2026 楼主 08-02 12:37
    12楼

    @descend #10 我也去试试，最近也没关注过国内API的价格

  • Course 08-02 12:39
    13楼

    qwen有免费的dp模型，还可以连接OpenRouter用免费模型

  • yuanfirst 08-02 20:31
    14楼

    为什么一定要本地模型 中转站的luna不香吗？ 跑模型的电费应该能涵盖了吧

  • Rick的-2026 楼主 08-02 21:07
    15楼

    @yuanfirst #14 推荐一下中转站，谢谢

  • yuanfirst 08-02 21:20
    16楼

    @Rick的-2026 #15

    https://cli.999554.xyz

    kuaipao.pro

    都行

  • ktieggboy 08-02 21:22
    17楼

    一个月几块钱让你用到饱，自己部署，又慢又卡，一秒吐几个token

  • cybort 08-02 21:27
    18楼

    如果本地跑不建议用Hermes，脚手架太重了，可以重新搭个openclaw

  • Rick的-2026 楼主 08-02 22:15
    19楼

    @yuanfirst #16 感谢感谢

  • Rick的-2026 楼主 08-02 22:15
    20楼

    @ktieggboy #17 太对了，刚试了下，起飞

  • Rick的-2026 楼主 08-02 22:16
    21楼

    @cybort #18 我研究一下

  • yuanfirst 08-02 22:17
    22楼

    @Rick的-2026 #21

    本地跑还要什么龙虾 直接codex上了

  • Rick的-2026 楼主 08-02 22:18
    23楼

    @yuanfirst #22 codex那价格，消费不起，我也只是偶尔折腾玩一下

  • yuanfirst 08-02 22:19
    24楼

    @Rick的-2026 #23

    啊 ？不是都用中转站了么 有什么区别？

  • ktieggboy 08-02 22:19
    25楼

    @Rick的-2026 #23 楼上意思是codex的app中使用其他的中转api，只用luna的话，一个月十几块钱应该就能让你用爽用撑了

  • Rick的-2026 楼主 08-02 22:23
    26楼

    @ktieggboy #25 codex可以接入除GPT以外的API吗？？？我问GPT他说不行

  • Rick的-2026 楼主 08-02 22:26
    27楼

    @yuanfirst #24 我去，搞半天codex可以接别的API，谢谢，小白刚弄明白

* 帖子来源NodeSeek
附近帖子
返回
飞读
随机推荐