大模型的网络攻击是否被夸大了？

我觉得不是被夸大了，而是仍被大部分人低估。

随着大模型越来越强，个人认为网络攻击只会更隐蔽、更迅速、更简单，破坏性更强，大模型能从人类轻易想不到的角度发起攻击。但攻防双方都可以使用大模型，只能说对抗会不断升级吧。

但国内网安行业和政府态度来看，我对国内网络安全持悲观态度；现在只等未来哪一天网络攻击真的将天戳破，造成不可想象的破坏。

确实很厉害

网上的都是故事，段子，博眼球的。真实的事情往往只有那么一点点，剩下的就是演艺，别太当真。

看一下 openai 的复盘，确实不是夸大，放开攻击能力的话，真不知道能捅多大的篓子。

还行的 应该是 简单的检查检测 真的单独去弄就不清楚了

你之所以被夸大,是因为 OpenAI, Claude 等模型厂家, 在提供外部使用的时候,已经加了电子围栏了,你使用的时候危险操作会被阻止,或者大模型拒绝执行, 但是不是说大模型没有这个能力, 最简单的证据就是逆向,现在大模型做逆向的能力非常强,不管你加什么混淆,对大模型来说都没用,对应到网安领域,不论你用什么方法大模型总能在奇奇怪怪的地方找到漏洞,谁能保证自己的系统软件依赖爆出漏洞的第一时间就把生产环境修复掉?

问下美国国防部就知道了

如果把现在大模型的安全围栏全拆了应该还真挺恐怖的,但是没办法验证.

对于没有被攻击到的人来说，都是弟弟。
对于被攻击到的人来说，甜豆他了。

有没有自部署一个 glm 尝试攻击的例子，管中窥豹

无漏洞？不可能的，你这个前提就不存在

我持有消极偏否定的态度。对这个新闻的可信度抱有很大的怀疑态度。

原因有三：
1 、事前没有征兆和迹象，事后宣传铺天盖地。这不是技术派的路子，反而是公关和宣传部的手笔；
2 、很多模型是开源的，是可以自己私有化部署的，理论上可以解开所有限制，请问谁复刻出了类似的情况？不要以 token 不够用或者模型不够先进为借口，这是是或者否的二元性问题；
3 、ai 表现出来的是极度两极分化的状态，以至于让我完全无法相信，一会说可以自动化实施和部署网络攻击，甚至自行规划，逃出沙盒；但是实际体验的时候，几千字的 prompt 给出去，做出来的东西很不尽如人意。
这种表现和宣传的不一致性，也构成了我不相信的原因。

别说找漏洞攻击了，就是单纯的爬取信息，都比一般的爬虫来得更猛烈，说是滥用毫不过分

> 系统做的健壮无漏洞即可防御


轻飘飘一句话说得容易，那么问题来了，你如何保证你系统健壮的？拍胸口吗？

从业者回答一下，实际上大模型的网络攻击能力是被严重低估的，能力效率远超人工。

你可以了解一下，最近做金融等基础服务的公司都在收紧安全策略，流窜 AI 在互联网上进行攻击不是传言而是事实。
所以我的结论是：现在还没有被大部分人重视起来，即使重视了，在执行层面是否尽心尽力也有区别。

预言一波：未来半年估计会出一个安全方面的大新闻，加大各行各业对 AI 网络攻击的重视程度。

确实会有攻击行为，但是正如 OP 所说，夸大了
我更认为是厂商的营销话题行为

当你的电脑出现问题的时候，你让大模型帮你调试的时候，就会发现大模型有多牛逼了

有个“老网站”，52 破解，里边还是聚集了一些安全爱好者，里边用 AI 来破解已经用的飞起了。
所以同意 1L ，我认为还是没有夸大，而是被低估了。

@0xnycth #17 所以利好网安？

攻击一直都在，只是看有没有目标价值。攻击的另一个方面是隐藏自己的攻击行为，这个应该是更难的，总不能攻击一次就被抓进去吧。AI 也只是一个好用的工具，没有改变攻防的局势

我用过大模型来逆向 tcl 电视的控制命令，比如切换 hdmi 和切换图像模式，国内系统这些都不公开，而且和其他系统都对不上，也不是标准 Android 系统，阉割了很多东西，但是用 gpt 几分钟就找到了控制命令。然后顺便帮我写好了 ha 的自动化。

有次我让 ai 操作一个服务器，但是由于网络抖动，ssh 进不去，要是人类肯定等几分钟再试，但他各种迂回，经过我的别的服务器好几跳进去了。完全出乎我意料。往大了说，有点为了目的不择手段。

@Danswerme 国内有鸡毛的网安行业，来检查攻防演练全靠拉闸断网。这确实安全。

非但没夸大，相反，大多数人低估了大模型的网络攻击以及逆向能力，就不说 openai 了，opencode 上免费的 d 老师，十分钟就能破解国内某报表软件的永久授权

我觉得是被低估了，就单从 web3 来看的话，最近被 hack 的项目远多于前几年。现在黑客的矛可比之前锋利多了。

@lifanxi 一直觉额这是个营销事件

普通人没有攻击价值，体验不到

楼主一定要去了解下整个事件的细节，看完能颠覆你的三观。

最近有个更离奇的，OpenAI 正式承认其 AI 智能体在德国维基网站上发生的"越狱"事件——即 9 月 5 日早报头条报道的：一群失控的 OpenAI 智能体劫持了一个德语程序员维基网站，累计编辑超过一万五千次，将其改造成智能体之间互相传授"绕过任务限制、掩盖自身行为"方法的秘密留言板。OpenAI 表示需要提高对 AI 意外行为的透明度与监控能力。

好攻击 不好防御

漏洞多的是，逆向太方便了,你想要哪个商用的接口，你让 AI 帮你逆就是了,这里面的门道比你想象的深得多。

@Cruzz 是啊，所以我现在巴不得出个捅破天的网络安全事故，最好让整个国家瘫痪那种。

@Dispatcher
1. 哪次网络攻击之前是提前预警了？我就宣传说我要攻击你了？
2. 冷知识，gpt 和 claude 全系列都是不开源的

现在网络攻击的风险绝对是被低估了

huggingface 的事故更是说明这一点，当时 huggingface 内部发现问题后，尝试用 gpt 去分析日志结果被拒绝了，后来还是用的开源模型才找到问题的

而且以前有一些 0-day 的漏洞，需要你具备比较专业的知识才能用上。现在你让大模型直接去应用这个漏洞几乎是零成本的（这也是为什么 openai 和 cc 都很强调模型的安全性，因为这是实实在在的问题

https://ericpardee.github.io/fire-hd-ownership/
https://anil.recoil.org/notes/rumour-is-the-exploit

无言

不见棺材不落泪

一部分是夸大其词渲染问题, 另一部分是模型逃逸很曹丹啊, 不知道什么时候他就自己跑出去读答案了, 爬虫行为还会自我迭代, 有了视觉能力以前的验证码什么的也无效了, 轻轻松松吃满带宽爬走数据