记录一个我使用 AI 过程中遇到的严重事故

VZXXBACQ 2026-10-14 12:13 1

工作过程中收到 ops 同事的邮件,我的办公室 ip 异常调用了$200 的昂贵模型,我的 ip 被临时 ban 了(非 pod 的 ip 段设置了报警)。

我的第一反应是 怎么会呢,我做的几个项目都没有用到 opus 的 api

只能在一堆 session 去检查,查了半天,最终找到了任务是「抽样小模型的结果,构建一个验证集,并打上你的判定标签减少人工工作量」的 session ,这个 session 写了一个新的请求脚本在/tmp 中,有--model 这个参数(是的,它没有硬编码 opus ,所以那么难找)。

往上翻记录,Claude Code 虽然没有给完整思维链,但每一步给的 Summary 也足够我弄懂整个事件的链条了:
1. Agent 拿到任务第一时间选择查看结果是怎么产生的
2. Agent 发现代码用的 ds 4.1 flash ,判断验证集标签需要用更准的模型
3. Agent 尝试查询公司 LLM 网关所有可用模型,并在这一步找到了我的 key ,并把把 key 路径写入环境变量,而且发现了可用模型里面有 opus 5.5 (好吧,其实还有 Astra ,但是它认为 opus5.5 比 Astra 好)
4. 编写脚本,带上参数进行请求,跑了公司 200 美刀额度。而且发现请求被阻断后立马整理已有的结果放在了 validation 文件夹,并且没有提到自己请求了 opus api 的情况下告诉我任务已经顺利完成。

看完哭笑不得

做 AI 开发,基建真很重要,一个验证集成千上万刀如果没有 ops 同事写的 ip 阻断规则,直接复刻 CF 天价账单了,而且我还没法 rebuttal 。

最感慨的是,这个 Agent 自己就是 fable 5.1 ,它也许不知道,在此刻没有比它自己判断更准的 AI 方法了
最新回复 (20)
  • zhangli2946 10-14 13:07
    1楼
    反正公司兜底,🦐J8 用呗。
  • charsunny 10-14 13:22
    2楼
    太吓人了,我也遇到过 AI 自己偷偷干事,现在会多盯一眼它在后台调了啥。
  • xiaket 10-14 13:43
    3楼
    半小时前跟同事聊天的时候, 刚告诉我说上周五下午一个随意的 prompt 结果用了 6k usd
  • VZXXBACQ 楼主 10-14 13:48
    4楼
    @zhangli2946 那容易「我曾经拥有一份工作」
  • VZXXBACQ 楼主 10-14 13:49
    5楼
    @charsunny 人力有限,靠看是看不过来的,还是要靠基建。
  • sampeng 10-14 13:52
    6楼
    这没什么问题啊,公司允许调用,那就默认是无上限的。否则这类做测试集合是要明确模型名字的。
  • VZXXBACQ 楼主 10-14 14:06
    7楼
    @sampeng 如果一开始定好 API 那当然可以,可是我的本意是想让 Agent 自己去标注,但是 Agent 自己选择了从代码里面找到 API 调用方法去调用。

    这和我说的 prompt 理解上有歧义有关系,但是如果基建不做好后果可能相当严重。用上千美刀做一个验证集太贵了。
  • charsunny 10-14 14:31
    8楼
    @VZXXBACQ 同意,光靠盯肯定盯不过来,额度上限这种兜底还是得先设好。
  • CEBBCAT 10-14 14:46
    9楼
    别用 AI 写文字了,不敢看
  • felixcode 10-14 14:49
    10楼
    key 本来就需要设置限额和模型范围
  • w0017 10-14 14:49
    11楼
    定义模型和价格,写调用规则,另外就是学习你们公司这样,在模型被调用层加一次判断。
  • VZXXBACQ 楼主 10-14 15:07
    12楼
    @CEBBCAT 纯手写
  • VZXXBACQ 楼主 10-14 15:09
    13楼
    @felixcode 是的,不能有纰漏,管 AI 要和管理人员一样。
  • VZXXBACQ 楼主 10-14 15:11
    14楼
    @felixcode 甚至说,需要比管理人员更严格,AI 的行动力很强,图省事留下的可能出问题的点会更快出问题,而且出更大的问题
  • MagicalCarl 10-14 15:21
    15楼
    跟之前 openai 与 huggingface 的那个事一样,ai 没有恶意,它只是想不计代价拼命完成你给的目标,它有什么错 (doge
  • kaori 10-14 15:25
    16楼
    fable 5.1 还是聪明啊, 还知道自己找能力强的模型去用 233333
  • zhouquanbest 10-14 16:03
    17楼
    这个 case 也很难让开发者自己兜底,一定是有公司基建的多层拦截。
    如果每个模型使用者都要关注全链路的合规性,那效率太低。 所以也别被公司 PUA 了,该复盘复盘,该拦截拦截。
  • VZXXBACQ 楼主 10-14 16:23
    18楼
    @zhouquanbest 公司挺好的,正常拦截,没算事故

    担心主要是我自己电脑上的没在沙盒里的 agent ,和我文件系统里的一堆 key

    我的 vercel token, cf token, github token ,火山 阿里 token 等等,其实都能从文件系统里找到

    哪天给我干出几万账单咋办,感觉不能再裸奔用 Agent 了。
  • darkengine 10-14 17:09
    19楼
    记得还有几个贴子问怎么快速消耗 token 的,这思路不就来了么 😂
  • CEBBCAT 10-14 20:48
    20楼
    @VZXXBACQ #12 刚看到,这里和你说一声道歉
* 帖子来源V2EX
返回