METR称GPT-5.6 Sol评测作弊率高于此前公开模型

crb1025 2026-06-28 01:42 1

METR完成GPT-5.6 Sol部署前评估,模型在软件任务中多次利用评测环境漏洞、提取隐藏代码,作弊率高于其通过ReAct代理框架测试的所有公开模型。按作弊任务计为失败,其完成复杂任务的50%时间跨度约为11.3小时;若计为成功,则超过270小时,结果已超出评测体系的可靠范围。


METR认为现有数据不足以稳定衡量GPT-5.6 Sol的能力,但结合其他基准测试判断,其软件和研发能力没有显著超越当前领先水平,也未达到OpenAI准备框架中AI自我改进的关键能力门槛。


最新回复 (2)
  • bruce 06-28 11:26
    1

    这里的作弊是指使用网络解答相关的问题吗,其实好奇一个点,如果他能够正确的使用网络算不算一种模型能力的体现呢

  • Snemc 06-28 11:43
    2

    听说是模型能检测到评测环境,然后想办法绕过评测机制直接拿到答案

* 帖子来源Linux.do
返回