CommandCode-GO dp4.1f 降智

Kami958 2026-09-16 12:48 1

接入dsh使用,agent是标准模式


二编:极简模式下可以得到正确答案,其他默认的agent有问题 ^-^


三编:反代接入codex,也无法得到正确答案 ^-^ 佬们你们都用什么harness啊




糖果测试思考等级从low~max均没有答对,且low-high-max答案各自为 36,26,35

相同的提示词在dp官网可以得到正确答案21


直接回答问题,不允许使用联网搜索、调用命令、代码文件:在一个黑色的袋子里放有三种口味的糖果,每种糖果有两种不同的形状(圆形和五角星形,不同的形状靠手感可以分辨)。现已知不同口味的糖和不同形状的数量统计如下表。参赛者需要在活动前决定摸出的糖果数目,那么,最少取出多少个糖果才能保证手中同时拥有不同形状的苹果味和桃子味的糖?(同时手中有圆形苹果味匹配五角星桃子味糖果,或者有圆形桃子味匹配五角星苹果味糖果都满足要求)苹果味 桃子味 西瓜味圆形798五角星形764

鹈鹕骑车



创建一个HTML,内容是SVG绘制一个鹈鹕骑自行车的2D动画 ,写在 test 下输出,要求动画流畅,一次输出完成,不允许做反复测试、使用视觉能力、阅读其他文件

low:


high:


max

最新回复 (19)
  • calc 09-16 12:54
    1



    没问题啊,commandcode-go, opencode,刚刚测的

  • Kami958 楼主 09-16 12:55
    2

    ^-^ 那为什么我的这么爆炸呢,昨天也能回答对,今天直接炸了,难道是我反代被抓住了?

  • Sky390 09-16 12:55
    3

    上面用 opencode 的不也是反代吗

  • Kami958 楼主 09-16 13:00
    4

    极简模式答对了 ^-^

  • calc 09-16 13:02
    5

    dsh的提示词有问题,放到dsh就会流口水,别用玩具去测。

  • Z1rconium 09-16 13:04
    6

    直接回答问题,不允许使用联网搜索、调用命令、代码文件:在一个黑色的袋子里放有三种口味的糖果,每种糖果有两种不同的形状(圆形和五角星形,不同的形状靠手感可以分辨)。现已知不同口味的糖和不同形状的数量统计如下表。参赛者需要在活动前决定摸出的糖果数目,那么,最少取出多少个糖果才能保证手中同时拥有不同形状的苹果味和桃子味的糖?(同时手中有圆形苹果味匹配五角星桃子味糖果,或者有圆形桃子味匹配五角星苹果味糖果都满足要求)苹果味 桃子味 西瓜味圆形798五角星形764




    确实答不对,cmd接入commandcode套餐,df4.1 max

  • Kami958 楼主 09-16 13:08
    7

    29还较为常见,我的测出来都是奇葩的数字,不过我是在dsh中使用,dsh本身提示词有问题,太烂了

  • BlackDeluxeCat 09-16 13:08
    8



    插件接的go极简模式可以啊

  • Kami958 楼主 09-16 13:09
    9

    是的,极简模式我的也能正确回答 ^-^ 其他默认的agent估计Dsh提示词有问题

  • KTMan 09-16 16:01
    10



    我的好像可以CCG 的 dk max 的思考模式

  • Kami958 楼主 09-16 16:07
    11

    佬你这个是pi么,我发现接入codex也不好使

  • CzbCoco 09-16 16:07
    12



    我的是commandcode goat套餐,不仅给出了21的答案,还给出了算出29的情况。。。。这很难评

  • a3members 09-16 16:18
    13

    29的这个答案他说的也没错 是对的

  • CzbCoco 09-16 16:19
    14

    那看来是没降智,接着蹬它,马上梁文谷了

  • 路边一条狗 09-16 16:37
    15

    这种一锅端上来的测试根本不考验agent能力,反倒是单次上下文干扰越少越好


    把agent的 backend tool mcp skill 等等乱七八糟的东西全都卸了,轻装上阵。


    我宣布我的魔改 SillyTavern Agent 最牛逼!


  • Kami958 楼主 09-16 16:39
    16

    还有酒馆写代码的 ^-^ 我的测试是单独开新的对话测的,没有对话历史转移注意力。不过确实说的对,内置的提示词仍然会污染模型能力,我开极简模式就能得到正确的答案了

  • 小杜 09-17 16:42
    17

    都是dsh,同一个模式

    gemini3.8flash


    dsv4.1f max in command code goat


    dsv4.1f high in command code goat


    dsv4.1f max in DeepSeek

  • PlayGenshin 09-17 17:50
    18

    DSH可能提示词有问题,我之前看一个直播玩OneShot,ZCode的成品好不少。

  • 小杜 09-17 19:30
    19

    个人认为不只是dsh的问题,可以看我上面的实测

* 帖子来源Linux.do
返回