记录一个qwen3.8 27b自部署接入dsh出现压缩失败的bug和解决方案

起因是把qwen3.8 27b接入dsh里使用的时候有时候会遇到compact压缩失败的问题。



一开始以为是模型指令遵循失败导致的，但是后续一压缩失败就继续会话，这个表现不像是指令遵循失败的现象。

于是我另开了一个会话排查了一下原因，发现是：

原有的压缩策略会显式的控制压缩上下文上限为8192token。若直接将模型指定为qwen3.8 27b其雷霆大思考本身会导致上下文超过8192的与之被截断，就出现了压缩失败的问题。

想要解决这个问题也很简单。额外指定一个compact的provider（本地），将思考关闭即可。

以下是.dsh/settings.yaml

    llama-compact:

      displayName: llama.cpp (compaction) #显示名称

      apiKeyEnv: LLAMA_API_KEY #改成你设置的key

      api: openai-completions #类型

      baseURL: http://127.0.0.1:18080/ #实际的本地llm url

      reasoning: off #这个字段实际需要通过下面的reasoningEfforts字段来生效

      compat:

        thinkingFormat: openai

        supportsReasoningEffort: true

      models:

        - id: qwen3.8-27b 

          name: Qwen3.8-27b (compaction)

          contextWindow: 128000

          maxTokens: 64000

          input:

            - text

          reasoningEfforts:

            off: none #一定要为none

            low: low

            medium: medium

            xhigh: xhigh

然后是copy一份使用的模式，我是直接copy标准模式



然后打开该文件夹，找到agent.cordis.yml。找到id:compact字段。

    - id: compaction-basic

      name: '@deepseek-ai/dsh-compaction-basic'

      config:

        summarizationProvider: llama-compact #保持与之前一样的provider id

        summarizationModel: qwen3.8-27b #保持与之前一样的id

        maxTokens: 16384 #给到16k

之后就可以正常完成compact了