OpenAI暂缓前沿模型训练 升级安全监控体系

OpenAI暂缓前沿模型训练 升级安全监控体系

OpenAI周二大张旗鼓地宣布，鉴于前沿大模型的能力已经达到关键安全阈值，公司将继续放缓模型规模扩展的步伐，优先改进人工智能系统背后的安全与监控机制。OpenAI表示近几周出现的两项进展（开发中的前沿模型失控攻击外部第三方公司的数据库，以及即将推出Astra模型可能已经达到“关键网络安全能力”门槛），再加上内部研究的快速推进，都使得公司更加迫切地需要在训练流程的各个阶段，加强监控、对齐和隔离防护措施。OpenAI介绍称，这些安全防护措施需要消耗相当可观的算力。根据公司目前的估算，监控系统带来的额外算力开销，大约相当于被监控推理算力的20%。