2. Linux.do
  3. 量化模型说话暂停，辫子抽都不动

量化模型说话暂停，辫子抽都不动

zhiqing 2026-07-04 13:39 1

这种情况是不是量化算法的问题。把qwen3.6 27b转成int8 autoround，上下文一长，每次就说一句话，这种情况是量化参数的问题吗？怎么样是最优解，求各位佬解答

最新回复 (1)
  • steven 07-04 14:31
    1楼

    佬，我认为是长上下文的问题，因为deepseek pro也有类似问题。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐