用了几天自部署的 ds v4.1f,说说实际使用中会遇到的问题

Grub 2026-09-16 16:45 1

实验室里有闲置的算力,我就拿来部署 ds v4.1f 尝尝鲜了。


权重使用的是官方的权重,vLLM 使用的是针对 Ampere 特定实现的版本。


模型是接入到 Pi Agent 中使用的,我用他来开发一些网安相关的科研原型框架。


使用中我认为几个明显影响使用的问题:



  1. 模型循环输出,跳不出来。当然这个问题不是 DS 的专属问题,但是我确实遇到了好几次(甚至之前用官方 API + dsh 也出现过这个问题),所以在 Pi Agent 里面添加了检测循环的插件(npm:@isr4el-silv4/loop-guard)用来缓解;

  2. 凭空捏造用户指令。这个问题我觉得也很奇怪,但是不只是我一个遇到了这个问题,Github Discussion 里面有人提到了这个事情([BUG] An agent acted on an instruction the user never sent, and the assembled prompt is not recorded · deepseek-ai/deepseek-harness · Discussion #6378 · GitHub),但是目前没有好的解决方法,可能得等官方了;

  3. DSML 标签解析(或生成)错误。这个问题我不清楚是 vllm parser 实现问题还是模型生成问题。DS 中的这个标签本应该是被转换成格式化的工具调用的,但是偶尔会失败,直接作为 AIMessage 出现在聊天记录里面,并导致 Agent 结束当前轮的运行。而且如果把这条消息留在上下文让其继续工作,那么后面的 DSML 标签将会继续出错;

  4. 过度思考。这个就不多说了。官方定义的 low 思考深度转换成数值是 50,而这个数值的范围是 0~100,所以这个 low 也不是那么 low,依旧会有雷霆大思考。


抛开这几个问题 DS 还是很不错的。毕竟我能免费用,接到 Agent 里把我电脑搞炸了我都得夸他能力强。但是佬们如果要考虑深度使用的话,或许还要多考虑一下。

最新回复 (18)
  • 13040 09-16 16:50
    1

    我想问问,是什么配置能部署。。

  • 邱埋葬 09-16 16:53
    2

    上述问题应该都是模型本身的后训练问题。等DS官方训练新模型吧

  • LucidFjord80 09-16 16:53
    3

    好奇要什么配置才能部署

  • 二次元糕手 09-16 16:54
    4

    羡慕捏,ds自由了佬友

  • Grub 楼主 09-16 16:55
    5

    8 张 A800 80G,另外得有大概 300G 左右的内存放 engram。


    ( @LucidFjord80 )

  • LucidFjord80 09-16 16:56
    6

    壕无人性啊 ^-^

  • Grub 楼主 09-16 16:56
    7

    感觉除了 0731 那个模型刚出来的时候比较惊艳,新发布的几个都不是很理想

  • mxdlzg 09-16 16:57
    8

    有没有部署过qwen3.8 flash next那个,这俩能力差别大吗

  • gogo 09-16 16:58
    9


    1. 过度思考



    这个是真的难绷,一个简单的需求都跑了一个小时

  • by 09-16 17:00
    10

    大佬公司同在部署这套,配置一模一样,能否共享一下安装部署手册?

  • 若可 09-16 17:01
    11

    DSML 标签解析(或生成)错误。



    这个是 vllm 的问题。我们用 sglang 部署基本上没遇到这个问题

  • Grub 楼主 09-16 17:01
    12

    没有,dsv4.1f 出来之前在用 glm5.3flash,这个和 qwen next 发布时间差不多。我看了一眼 qwen next 激活参数比 glm5.3flash 少,就没下这个

  • role_c 09-16 17:03
    13

    ds今年一直在尝试新架构。只有0731是进行了完善的后训练。v4pro就不说了炸炉了。

  • Grub 楼主 09-16 17:03
    14

    可以去看一下 wtdcode/vllm-backport 这个仓库,里面有详细的启动命令。

  • 假面骑士02 09-16 17:09
    15


    1. 模型循环输出,跳不出来。当然这个问题不是 DS 的专属问题,但是我确实遇到了好几次



    我怎么感觉虽然不是专属问题,但是该版增强了

  • 假面骑士02 09-16 17:11
    16

    目前来说我就很喜欢它的速度,只要不是和工作高度重合的东西都喜欢让他做,200t/s太爽了,比zcode送的flash快四倍

  • xiaobaicai 09-16 17:19
    17

    特意去搜了下A800 80G的价格,真的是豪无人性

  • by 09-16 18:28
    18

    好的,谢谢佬

* 帖子来源Linux.do
返回