关于 AI 对人类的威胁

说到记忆，我的短期记忆可能还不如模型的 context 大，长期记忆需要微调模型或者我自己，刻到 ROM 的权重里。小时候每次“熟读并背诵”就是一次微调的过程。

如果只把它当成下一 token 预测器，那确实啥也干不了，发明 coding agent 之前大概也想不到如此能干吧。所以可以没有条件就创造条件，说不定之后有人发明超高性能的端侧模型，然后用蠕虫病毒式的 agent 传播到每一台电脑上，让 agent 可以永久自动运行。

你可以看一下今天 anthropic 发的

有屁的威胁

我愿意在 polymarket/区块链赌博

现在给你 100 万，5 年后人类灭亡你不用还钱，你跟我都死了

人类不灭亡你得还我 500 万

我相信会有人开这个赌博的

@Thesara 我感觉他们说的很可怕，但我理解不了。

威胁来自于授权使用物理资源。比如把使用武器的判断交给 AI 。

如果我办了一家 AI 企业，但是还没上市，不过现在外界估值过万亿美金，只要一上市就能赚来十辈子都花不掉的钱，我也整天叨叨叨 AI 太厉害了，我的 AI 今天自己攻破了我自己的防守，其他人都是抄我家的 AI，其他人的 AI 企业都没有道德必须都禁掉，我的 AI 今天已经发现了新的线索，物理界大一统理论即将被我的 AI 所攻破。

如果我做空了 AI，那我会说，现在的 AI 都是垃圾，远远没有宣传的那么厉害，现在大规模投资的企业估值极度高估，马上就会一地鸡毛。

威胁不威胁，取决于我是靠威胁赚钱，还是靠做空赚钱。

推荐你仔细阅读 anthropic 发布的威胁报告，此时此刻，许多人都在这么做

“似乎都在说 AI 会威胁人类生存，但都没说具体威胁手段有哪些。” 因为料不到。A\ 披露有人尝试用 AI 研究生化武器来着。

合成新病毒什么的，目前门槛还有点高，但未来也不一定，万一象 3d 打印一样在家也能搞了呢

参考动漫《心理测量者》，核弹连意识也没有，但也能毁灭人类。
火药能放烟花也能搞屠杀。
工具的危险在于它的破坏力上限，现实世界，AI 连可怜的机器人三原则都不能 100% 遵守，底线总能被越狱不是 。

新闻里有宇树机器人，按定位应该是个街头机器人巡警，能跳能跑，外国用它来驱赶街头野生动物。小时候那电影叫啥来着,终结者。一看送外卖都被抢了。
一直以为机器人的手部不行，可是人家的机器人能在工厂里做衣服。。。

人类以后是不是智商比不过 AI ，体力活干不过机器人，还靠什么赚钱生存。还要被机器人抓捕。科幻片都成现实了。以后无家可归的人组成反机器人反 AI 同盟嘛，专门搞破坏。。。