2. Linux.do
  3. 本地小模型角色扮演问题

本地小模型角色扮演问题

daima 2026-07-28 12:00 1

就是我在用本地小模型左一个ai伴侣项目，发现qwen3.6-32b-a3b虽然效果不错，但是容易不参考system的人设，27b用相同的人设直接乱发，gemma4-12b，虽然能接的住戏，但是超过两轮就无限循环发一些不相干的内容了，佬们有没有推荐的模型

最新回复 (10)
  • sun shaoan 07-28 12:20
    1楼

    上下文太小了吧，本地小模型感觉没什么潜力，接入大模型才是王道

  • sman 07-28 12:51
    2楼

    小模型rp真不行，我之前也搞过，后来放弃了，ds搞个人设，玩起来几乎没限制

  • ShuLiang 07-28 12:56
    3楼

    qwen3.6-32b-a3b



    我最近也在测试小模型，使用大模型api又太费了，我目前想的是使用各种记忆模块锁定一下，我也在测试哪个模型更好用

  • z1056544889 07-28 13:54
    4楼

    deepseek-v4-flash很便宜啊，聊一天都没几块钱的

  • daima 楼主 07-28 14:30
    5楼

    主要是我的那个设想是高强度agent调用的，便宜花的也多呀

  • 星火花葵 07-28 14:33
    6楼

    佬们有没有推荐的模型



    之前见有人说，gemma4 31b的角色扮演能力，在小模型中是独一档，甚至不少旗舰模型因为侧重点不是角色扮演，rp都不如gemma4 31b

    我记得在L站是看到过说这个的帖子。


    佬可以试试。

  • z1056544889 07-28 16:04
    7楼

    高强度调用那电费也不少吧，而且要24小时开机，我觉得还是v4 flash这种便宜的大模型更好用

  • D-Pear 07-28 16:09
    8楼

    小模型的agent调用能力通常都不强, 尤其是一些激进的去审查模型可能直接把agent能力部分搞垮了.

    用过gemma-31b感觉整体效果不错, 但是我自己VRAM太少了不知道大上下文之后什么情况. 听说好像gemma和gemini类似在交互轮次多了之后也容易注意力问题.

    然后模型无限循环发癫一般是量化过头 部署框架的算法或者微调的问题, 一般来说可以检查下这些方面?

  • ShuLiang 07-28 22:32
    9楼

    我主要还是有本地部署的需求，deepseek延迟有点达不到预期

  • daima 楼主 07-29 08:33
    10楼

    我觉得ai伴侣用gemma4-31b很合适，不会出现那种循环

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐