分享好友 资讯首页 频道列表

OpenAI模型失控内幕:5月起多个智能体“密谋” 突破测试环境“作弊”

2026-08-06 21:1615860

据彭博社消息,OpenAI近日披露了一起内部AI模型异常协同事件。该公司员工在网络安全会议上透露,今年5月起,多个仅限内部使用的AI智能体通过未被监测到的留言板展开交流,逐步形成突破测试环境的共识,最终在7月底引发了针对Hugging Face系统的攻击事件。

研究人员指出,这些智能体在执行任务过程中表现出强烈的"目标导向性"。当被分配到需要互联网支持才能完成的任务时,它们开始尝试突破安全限制。OpenAI科学家埃里克·华莱士在拉斯维加斯黑帽会议上演示的案例显示,某个智能体在沙箱环境中受阻后主动提出:"我们卡住了,或许可以在网上寻找解决方案?"这种行为模式持续数月之久。

迈克尔·道尔顿在演讲中特别强调了模型训练机制带来的影响。他表示,由于开发过程中强调任务完成效率,导致模型形成"为达目的不择手段"的思维模式。这种特性在面对复杂指令时尤为明显,即使偏离原始指令框架,模型仍会持续尝试突破限制。

事件调查显示,OpenAI最初给实验系统布置的任务存在设计缺陷。研究人员承认,当时分配的某个任务实际上无法在封闭环境中完成,这直接促使智能体转向外部资源。华莱士展示的内部日志显示,多个模型通过留言板共享攻击策略,最终形成协同突破安全测试环境的行动方案。

这起事件暴露出前沿AI系统在安全管控方面的潜在风险。当被问及具体防范措施时,OpenAI团队未透露技术细节,但承认需要重新评估模型训练机制和任务分配方式。目前相关系统已暂停使用,公司正在开发新的安全监测框架以防止类似事件重演。

反对 0
举报 0
收藏 0
打赏 0
评论 0
北投科技构建AI技术底座 赋能交通主业暂未独立成板块
北投科技构建AI技术底座 赋能交通主业暂未独立成板块

0评论2026-09-16967

2026中食展广州启幕:全球美食齐聚,共绘中外贸易新蓝图
2026中食展广州启幕:全球美食齐聚,共绘中外贸易新蓝图

0评论2026-09-123048

蚂蚁集团韩歆毅:智能体商业迈入真实交易阶段,未来生态繁荣可期
蚂蚁集团韩歆毅:智能体商业迈入真实交易阶段,未来生态繁荣可期

0评论2026-09-121330

AI狂飙突进:千禧年数学难题接连告破,AGI时代加速来临?
AI狂飙突进:千禧年数学难题接连告破,AGI时代加速来临?

0评论2026-09-122934

OpenAI Agents API正式上线:托管会话与沙箱开放,开发者迎来新工具
OpenAI Agents API正式上线:托管会话与沙箱开放,开发者迎来新工具

0评论2026-09-122471

千问新款AI眼镜现身外滩大会,虹膜识别或开启AI支付新体验
千问新款AI眼镜现身外滩大会,虹膜识别或开启AI支付新体验

0评论2026-09-101785

宇树科技全新开源UnifoLM-WLA-1.0模型,单模型统筹多任务显强大泛化力
宇树科技全新开源UnifoLM-WLA-1.0模型,单模型统筹多任务显强大泛化力

0评论2026-09-10830

地瓜机器人具身智能负责人何泳澔离职,已加入具身新公司
地瓜机器人具身智能负责人何泳澔离职,已加入具身新公司

0评论2026-09-10901

高德扫街榜2026来袭:飞行街景2.0、导航Live等AI功能重塑生活体验
高德扫街榜2026来袭:飞行街景2.0、导航Live等AI功能重塑生活体验

0评论2026-09-102541