这就是为什么我们需要开源 AI 模型的原因

maomaoxiao 2026-07-21 09:54 1

7 月 16 日，全球最大的 AI 模型平台 Hugging Face，发表了一篇文章，宣布他们被一个全自动 AI Agent 攻入了他们的服务器。

整个过程中几乎没有人类操作。

攻击从一个恶意数据集开始，Agent 串联了数据处理系统中的两个代码执行漏洞，获得节点级权限，窃取云端和集群凭据，并在多个内部集群之间横向移动。

它调用了数千次自动操作，运行在大量短生命周期沙箱中，甚至建立了可以自行迁移的 C2 控制系统。

Hugging Face 最终记录了超过 17000 个攻击事件。

但更荒诞的事情发生在调查阶段。

Hugging Face 最初尝试用美国闭源前沿模型 @ChatGPTapp @claudeai 的 API 分析日志，但真实的攻击命令、漏洞 Payload 和 C2 数据触发了安全护栏，模型直接拒绝工作。

最后，他们只能在自己的服务器上运行中国 @Zai_org 的开源模型 GLM 5.2。

GLM 5.2 在几个小时内分析完 17000 多条记录，重建攻击时间线，定位被窃取的凭据，并区分真实攻击和诱饵行为。

如果不是世界上存在 GLM5.2 这样的开源顶级模型，Hugging Face 绝对没有任何能力阻止这次入侵。

因为人类的响应速度远远不如 Agent，数百人的安全团队可能都不如同时运行的几个攻击 Agent。

这事最有趣的部分是攻击者没有任何安全限制，防守者却被安全护栏拦住了。

当攻击和防御都开始 Agent 化，真正重要的已经不只是模型能力。

谁能自己运行、审计和控制模型，谁才拥有机器速度时代的安全主动权。

这有点像核武器，很只有形成互相核威慑才可以保证世界的稳定。

原文： https://huggingface.co/blog/security-incident-july-2026
原帖： https://x.com/MaxForAI/status/2079350994056737232?s=20

人人有枪，才能不乱。

山雨欲来风满楼，雇佣来的 A/O 老爷的私军，在紧急时刻面前你调的动吗？

最新回复 (40)

maocat 07-21 09:57

1楼

坐等一个峰哥头像的人进来喷国产开源
woshishui2022 07-21 10:05

2楼

开源当然好了；不然其他国家早被美国收割了。
现在能玩的动大模型的，也就中美了；未来 AI 主要成本是电费，这块是我们优势
zfyime 07-21 10:09

3楼

当然要开源了我以为开源精神一直都是真理
GeruzoniAnsasu 07-21 10:13

4楼

这其实不构成「需要开源模型」的理由

因为攻击者的能力也是用同款开源模型构建的。
yaytohkay 07-21 10:15

5楼

“为什么 xxx 的原因”是经典病句了，应该是“这就是为什么我们需要开源大模型”或者是“这就是我们需要开源大模型的原因”。
thinkm 07-21 10:19

6楼

@yaytohkay 文学造纸很高👍
dacapoday 07-21 10:22

7楼

这不就是"禁枪/拥枪"吗?
禁开源模型等于禁枪, 降低坏人的侵害程度. 支持开源模型等于拥枪, 好人有枪才能抵御坏人侵害.
左右都有理,全看立场.
sillydaddy 07-21 10:26

8楼

#4 楼说的很对啊，你的论证逻辑上有漏洞，很明显，如果没有开源模型，那就没有这次攻击了！

然后再说核武器的类比，假如说，人人都可以轻松有核弹头以及投射能力，能「互相威慑」以至于「保证世界稳定」吗？

我发现一个核心的点，就是：权责利的平衡！

一个人当然可以夺走另一个人的生命，它自己也要付出代价。但你不能让一个人，只需要付出自己生命的代价，就可以夺走上百万人的生命。这不是威慑！这是不对等或者说不对称！

不对称可以用在防守上，比如密码学就是一个典型案例，之前 V 友推荐过一本书《主权个人》，就是讲（加密世界的）不对称造成的世界趋势的变化。

但假如不对称用在进攻上呢？我不知道 AI 属于哪种。但核武器的例子是很差的一个类比。
xing7673 07-21 10:28

9楼

@GeruzoniAnsasu bro 断言得过于彻底了，攻击者能力不一定由开源模型构建
ChangQin 07-21 10:32

10楼

@GeruzoniAnsasu 领先的闭源模型是否也可以调教出一个可以无视任何规则的模型？🤔
GeruzoniAnsasu 07-21 11:00

11楼

@ChangQin 领先的闭源模型是否调教出一个能用于对抗网络攻击的模型？🤔
GPLer 07-21 11:04

12楼

@xing7673 如果攻击者通过某种能力绕过了闭源模型的安全护栏，那么防守者也可以，开源模型同理，并不存在不对等。
maomaoxiao 楼主 07-21 11:07

13楼

@yaytohkay 哥们你再看下标题
maomaoxiao 楼主 07-21 11:12

14楼

@GeruzoniAnsasu #4 不管是开源还是闭源构建的攻击能力，AI 已经存在了。不能指望于‘不作恶’的口号，只能依赖于人人都有防御的能力。开不开源不重要，我有自保的能力才重要。现在给小企业和个人最好的防御能力就是开源模型了。
ccpp132 07-21 11:19

15楼

@GPLer 如果攻击者是 a\内部人员呢？每个防守者都去 a\安排一个内鬼？
GeruzoniAnsasu 07-21 11:31

16楼

@maomaoxiao

> 其实不构成「需要开源模型」的理由

你描述的是「 AI 平权」。模型开源与否其实不影响权利平等化。
stoneabc 07-21 11:39

17楼

@GeruzoniAnsasu 平权的关键是，你能不能用闭源模型不是你说了算。
zfjdif 07-21 11:40

18楼

@maomaoxiao #13 怎么看你这也是句式杂糅啊
maomaoxiao 楼主 07-21 11:52

19楼

@zfjdif 我语文不好了😅
Cu635 07-21 11:56

20楼

@zfyime #3
在精神上，不是“开源软件”，而是“自由软件”才是真理。

@dacapoday #7
禁枪是怎么禁止的？

如果是现实中的美国“禁枪”“拥枪”两派，那么“禁枪”只禁止了守法公民的枪，非法拥枪、帮派这些完全就等于没管，结果是好人没枪坏人有枪了，恰恰是增强了坏人的侵害程度，还不如“拥枪”派呢。

如果是理想当中、字面意义的“禁枪”，最接近的还真就是近几年的中国大陆地区了，只有到了这种程度，“禁枪，降低坏人的侵害程度”才能成立。

“禁开源模型”是类比的哪一种呢？禁止了之后，如何保证闭源模型不是帮派？
f10w 07-21 11:56

21楼

>When we started the log analysis, we first used frontier models behind commercial APIs. This did not work: the analysis requires submitting large volumes of real attack commands, exploit payloads, and C2 artifacts, and these requests were blocked by the providers' safety guardrails, which cannot distinguish an incident responder from an attacker. We ran the forensic analysis instead on GLM 5.2, an open-weight model, on our own infrastructure. This had a second benefit: no attacker data, and none of the credentials it referenced, left our environment.

连安全防护都过不了，这不是说明不能通过商业模型进行攻击吗？
博客又说这是 AI-driven intrusion ，攻击者不就大概率来自开源模型？
ixcode 07-21 11:58

22楼

如果说 AI 拒绝进行渗透测试的动作我还能理解，但是 fable/5.6 拒绝对自己编写代码进行安全检查，就很扯淡。
zhya 07-21 12:16

23楼

如果攻击事件也是开源模型驱动的呢？
luoyebuyu 07-21 12:21

24楼

@maomaoxiao #13 要么 "为什么我们需要开源 AI 模型"，要么 “这就是我们需要开源 AI 模型的原因” （手动狗头）
ndxxx 07-21 12:32

25楼

原汤化原食
vsitebon 07-21 12:44

26楼

原先攻击方可以利用越狱后模型，防御方除了越狱模型就只能选一些远远比不上闭源模型的开源模型
现在攻击方可以利用越狱后/开源模型，现在防御方除了同样越狱模型以外，多了一个选择开源模型的选项

主要是同样是分析样本，纯人工的速度已经快赶不上 Agent 触发的速度了
clemente 07-21 12:44

27楼

攻击源头也来自开源模型的扩散 Hhhh
zbinlin 07-21 13:00

28楼

在没有 AI 之前，人们是如何分析这类日志的？
folnet 07-21 13:32

29楼

这就是为什么我们不需要 AI 的原因
wengjin456123 07-21 13:40

30楼

glm5.2 700b 参数干到了顶级，真的牛逼
xing7673 07-21 13:42

31楼

@GPLer 万一攻击者并不需要绕过呢？
JNotEnoughW 07-21 14:02

32楼

这标题的 [为什么] xxx [的原因] 语义重复看得让人难受
catazshadow 07-21 14:02

33楼

如果开源模型搞的最火热的不是天朝，你会写这篇文章吗
autumncry 07-21 14:07

34楼

大模型真正进入产业，开源一定是充分必要条件。
1. 真实的企业场景，是不会允许自己的核心数据被 api 接入到模型厂商的服务器的，哪怕厂商再承诺不使用 api 的数据不会用来训练模型，不会有企业愿意承担这个风险。
未来的趋势一定是开源+私域部署。
2. 模型训练本身就不是有技术/算法门槛的事，你 claude 能获取到的数据，我 kimi/智谱一样能获取，你再闭源的训练策略，我一样能实现，不存在技术壁垒；唯一差距是算力门槛
3. 所以模型技术本身不存在什么闭源核心技术，搞闭源的终究不会笑到最后，最多可能 2c 端能吃稳，但是 2B 端一定是开源模型的天下
TKKONE 07-21 14:07

35楼

@maocat 太经典了
oldManNewThought 07-21 15:11

36楼

那攻击 agent 估计也是 glm5.2 了
MrBearin 07-21 16:10

37楼

"attack was driven by an autonomous AI agent system"....那"宣布他们被一个全自动 AI Agent 攻入了他们的服务器。整个过程中几乎没有人类操作" 这个是怎么推导出来的?
RandomJoke 07-21 16:36

38楼

@autumncry 没那么绝对，可以本地化啊...SAP 之类的 SAAS 不都是闭源
hsir 07-21 16:45

39楼

@GeruzoniAnsasu 不一定，万一是 Anthropic 自己攻击的 Huggingface 呢？毕竟这家公司厌恶开源模型，自然有动机攻击 HF
dongzhuo777 07-21 19:18

40楼

开源主要是因为政治上，不开源怎么打得过美国的闭源模型。。