2. Linux.do
  3. 🤣[焚绝] 如何测试中转站是否是真 Fable 还是假 Fable

🤣[焚绝] 如何测试中转站是否是真 Fable 还是假 Fable

ozer_23 2026-08-22 00:28 1

最近测试了一个中转站，在Ztest.ai中的结果是90/100，但这种测试站只能说hhh懂得抖动：



该站虽然提供了号池页面，但在 GA 的真实任务测试中，输出行为与个人 Claude Max 20x 的 Fable 存在明显差异。就本次样本而言，我将它判定为疑似假 Fable。




  • 测试地址： supeai

  • 测试分组： Claude Max 满血版

  • 测试环境： GenericAgent（GA）


中转站分组的截图：


ztest.ai测试结果：


如何检测


要检测是否是真Fable，不要只看模型名称、思维链或者号池页面。这些都不能证明请求实际走了哪个上游。比较有效的方法，是在相同 GA 环境中安排一个必须操作文件、检查代码并运行验证命令的任务，然后对比两边的完整执行过程。


本次对比：

• 左侧：个人 Claude Max 20x 的真实 Fable

• 右侧：中转站的“Claude Max 满血版”


我们自己反代的fable可以看到连续、密集的真实工具调用：

• file_read

• code_run

• 再次读取文件

• 再次运行检查

• 根据返回结果继续修正判断


一句话总结，真fable非常善于调用工具！基本上80%的情况都在调用工具，如果没有调用GA工具就大概率假的Fable，也不要相信各种检测网站！！



另一方面也说明GA工具设计的合理性^-^，快去大家把，PS: 基本上这套方案可以检测是否存在防封提示词注入，缓存命中是否存在问题。




还有部分中转站设置了防封，这部分中转站只允许Claude Code的工具，将用户上传的工具进行了改写，这部分中转站目前无法检测，风险存在，自己考虑。特征是GA中出现Compact开头的工具调用，并且无法执行工具。并且这部分中转站也不大概率支持MCP工具，建议不要使用…无法确定真假


最新回复 (16)
  • Skyu 08-22 00:29
    1楼

    用过好多公益站的fable，没有几家fable的糖果测试答案是21的，都是29

  • leisure 08-22 00:30
    2楼

    有没有完整的测试提示词，我也想看看有没有降智

  • ozer_23 楼主 08-22 00:31
    3楼

    日常任务就行了…基本上都会触发80% coderun的情况的..

  • Skyu 08-22 00:31
    4楼

    直接回答问题，不允许使用联网搜索、调用命令、代码文件：在一个黑色的袋子里放有三种口味的糖果，每种糖果有两种不同的形状(圆形和五角星形，不同的形状靠手感可以分辨)。现已知不同口味的糖和不同形状的数量统计如下表。参赛者需要在活动前决定摸出的糖果数目，那么，最少取出多少个糖果才能保证手中同时拥有不同形状的苹果味和桃子味的糖?(同时手中有圆形苹果味匹配五角星桃子味糖果，或者有圆形桃子味匹配五角星苹果味糖果都满足要求)


























    形状 苹果味 桃子味 西瓜味
    圆形 7 9 8
    五角星形 7 6 4

  • ozer_23 楼主 08-22 00:32
    5楼

    这是测试智力的，意义不一定很大，要看整体模型输出的风格。

  • xiaohai0528 08-22 00:33
    6楼

    降级测试可以吗？好像只有fable会触发安全降级吧，这个东西应该模拟不出来吧

  • ozer_23 楼主 08-22 00:35
    7楼

    降级的没意义，降级主要看报错，可以伪造报错进行降级…

  • mmmm啊 08-22 00:35
    8楼

    刚刚用ds 4f和Gemini3.7f测了下，都是21

  • ozer_23 楼主 08-22 00:36
    9楼

    是的，之前的都是模型智力测试，但很多模型目前都能过智力测试，所以最关键的是模型工具调用的风格，目前Fable在GA中，简直全裸。没有任何一个模型有如此高的工具调用率。

  • 阿维84 08-22 00:49
    10楼

    感觉这个降级有些意义的，Fable5外面有专门的safety classifier，对请求进行检测，命中后才触发 fallback，


    中转站想伪造除非外面套一层检测小模型，。复现这套 classifier/routing 逻辑，应该不至于能实现吧？

  • ozer_23 楼主 08-22 00:52
    11楼

    检测，命中后才触发 fallback，


    中转站想伪造除非外面套一层检测小模型，。复现这套 classifier/routing 逻辑，



    他的报错请求可以伪造的啊，你怎么能判断你的降级是被Fable5的小模型识别的，还是被中转的规则匹配的呢？识别到我就输出一份和Fable5一样的error报错就行啊。难度在哪？

  • ozer_23 楼主 08-22 00:53
    12楼

    不同账号，fable5的拒答都是不一样的，同一个prompt，在风控高的账号会被拒，换个账号就没问题，拒答检测你是哪里听说管用的hhh

  • 阿维84 08-22 00:55
    13楼

    降级不是靠一套简单的规则命中吧？

    复现这套 classifier/routing 逻辑，首先要判断什么时候才触发，就跟gpt的cyber检测一样，要套小模型吧


    当然不是说实现不了，还是需要一定成本的吧，中转站大概不至于做到这样


    当然只是我的个人想法，如果你有相关的经验，可能是我错了…

  • ozer_23 楼主 08-22 01:02
    14楼

    你怎么知道你的prompt是不是真的是官方命中的，还是第三方命中的…sub2api提供了两类模型，一类是openai的分类模型接口，一类是qwen基座的分类模型。

  • 阿维84 08-22 01:03
    15楼

    你这个就是纯杠了呀，行吧，那你是对的，这样讨论下去 没完没了了

  • ozer_23 楼主 08-22 01:04
    16楼

    降级只是另类的，真正测试真假，看的是模型行为和模型输出风格。Fable系列的模型，非常善用工具调用，可以跑大量benchmark就可以看到，而不是工程上的这种测试，没有太大意义。


    你可以作为多因子的佐证，但我已经给你提供了比较好的方案了…并且中转站是做不到伪装的

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐