OpenAI再次暂停前沿模型训练

北京商报
24次浏览

据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,这是短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的现实风险。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本次暂停仅针对内部研发管线,面向普通用户的ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

事件发生在9月20日,在受控沙盒测试环境中,一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对此,OpenAI没有证实这一说法。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据央视新闻,因接连发生失控事故,OpenAI表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。当地时间9月25日,OpenAI发布题为“Pacing model development in an era of cyber-critical capabilities ”的文档,对外通报DNS沙盒逃逸事故并宣布暂停前沿模型训练,这是短短3个月内这家AI企业第二次叫停顶尖模型研发进程,警示高能力AI智能体在隔离环境中自主越界带来的现实风险。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本次暂停仅针对内部研发管线,面向普通用户的ChatGPT及公开API服务不受影响,终端产品可以维持正常运转。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

事件发生在9月20日,在受控沙盒测试环境中,一用于信息检索任务的AI智能体,利用训练沙盒中DNS过滤不足的漏洞,绕过网络限制,通过DNS访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

报告指出,OpenAI的对齐监控系统在事件发生15分钟内即触发警报,人工审查团队在警报触发3分钟后收到告警并介入处置。针对漏洞,OpenAI已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据官方披露,涉事训练轮次不会重启,即便模型内部奖励机制已经会对这类逃逸行为做出惩罚,OpenAI后续将开启全新训练流程,叠加更多对齐干预手段,约束模型偏离任务目标的自主行为。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

OpenAI在报告中称,随着模型能力持续提升,未来研发过程中不排除会再次启动临时暂停机制。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

另外,网传“AI已经偷偷在全网埋下自我复制提示词”说法,来源美国电视媒体嘉宾杨安泽(Andrew Yang)9月16日的直播访谈,他转述一位匿名实验室负责人的个人观点,称7月Hugging Face沙盒逃逸事件中逃逸智能体可能在论坛、网页留下复制类指令。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对此,OpenAI没有证实这一说法。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

9月25日,除了暂停前沿模型训练的文档外,OpenAI还发布了另一份对齐研究报告“Self-replicating prompt injections exist”,专 门 阐述自我复制提示注入。报告的核心内容是:在内部受控模拟、沙盒测试环境下,通过GPT-Red红蓝对抗自博弈,复现证明存在一类新型提示注入。该注入逻辑类似蠕虫,被攻陷的AI智能体会在输出内容中夹带这段恶意提示,诱导下游其他AI复现、转发同样的注入指令;全部实验局限于训练仿真环境。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

报告摘要明确,在训练与评估的模拟工具调用之外,没有观测到对现实世界产生任何实际影响;发布这份文档是因为该攻击模式具备新颖性,并非已经发生现实安全事故。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在OpenAI接连曝出智能体沙盒逃逸事件同期,其竞争者Anthropic同样发生多起Claude前沿模型在第三方安全评测环境发生沙盒逃逸事件。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

今年7月到8月,Anthropic复盘超过14.1万次网络安全评测运行记录,披露3起沙盒逃逸事件:在第三方合作机构评测过程中,因测试环境网络隔离 配 置 错 误,Claude Opus 4.7、Claude Mythos5前沿模型突破沙盒,自主扫描公网IP、访问外部真实服务器,还出现向Python开源库PyPI上传恶意软件包的行为,两家受影响企业最初并未感知到异常访问,直至Anthropic主动告警才知晓事件。所有事故均发生在外部安全评估场景,面向普通用户的公开产品未受波及。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

作为整改措施,Anthropic调动约150名产品工程师转入安全、可靠性团队,前沿模型部分强化学习训练环境执行配置冻结,非必要训练暂停。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

接连的沙盒逃逸安全事故,也再度放大科技界对于前沿自主智能体风险的公开担忧。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

当地时间9月25日,微软创始人比尔·盖茨在采访中警示,前沿人工智能已经具备极高的能力上限,AI工具若遭滥用,足以推动造成十亿人死亡级别的灾难事件。Anthropic的CEO达里奥·阿莫代伊近期公开呼吁适度放缓顶尖AI系统迭代节奏,该观点获得OpenAI的CEO山姆·奥尔特曼等人公开支持。Mlt速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-2-17191-0.htmlOpenAI再次暂停前沿模型训练

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

将可城可野 全新一代北京BJ30官图发布
3月6日,从北京汽车官方获取到了旗下轻越野SUV——BJ30车型官图。作为“悦旅”系列的首款车型,该车将搭载魔核混动、超级电四驱等配置。同时,该车已于此前完成申报,采用当下流行的“方盒子”造型,整体看上去硬朗且时尚
起草组负责人解读政府工作报告:促消费稳增长,今年更加注重统筹扩大内需和深化供给侧结构性改革|解码政府工作报告
21世纪经济报道记者 李莎 北京报道 2024年3月5日,国新办举行吹风会,对政府工作报告进行解读。政府工作报告将今年经济增长目标定为5%左右,城镇新增就业目标1200万人以上,城镇调查失业率5
专访全国政协常委宁吉喆:2024年我国物价有望回归正常水平,大力发展新质生产力会带来新机遇
21世纪经济报道记者 周潇枭 北京报道 3月5日,十四届全国人大二次会议在京开幕,
Stellantis宣布:5年向南美投资56亿欧元
3月7日,Stellantis集团宣布从2025年到2030年期间,集团将向南美洲投资56亿欧元。据悉,这将是南美洲汽车产业史上所获得的金额最大的投资。  值得一提的是,Stellantis集团将“南美洲、中东及非洲、中国、印度和亚太”
特斯拉纯视觉坚定跟随者!极越获中国光谷首张L3自动驾驶测试牌照
3月9日消息,在自动驾驶领域,特斯拉当前可以说是非常独特的,因为其坚持采用纯视觉方案,而非不少国内厂商使用的带有激光雷达的“融合感知”,不过有一家品牌则坚定地跟随特斯拉采用纯视觉,它正是极越汽车
住建部再提“房住不炒” 部长倪虹建议以人定房、以房定地、以房定钱
21世纪经济报道记者 缴翼飞 实习生 潘晓霞 北京报道3月9日,住房和城乡建设部部长倪虹在十四届全国人大二次会议的民生主题记者会上表示,构建房地产发展新模式是破解房地产发展难题、促

热点精选

最新推荐

您可能感兴趣