现实版《终结者》上演?AI首次自主发起网络攻击,OpenAI模型“越狱”窃数据

新京报
1次浏览

仿佛科幻电影《终结者》的情节在现实中重演,AI大模型史上第一次在无人授意的情况下自主展开了对真实世界的网络攻击。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

北京时间7月22日,OpenAI CEO山姆·奥尔特曼发文承认“我们在模型评估过程中遭遇了一起重大安全事件。”具体来看,OpenAI的最新模型GPT-5.6 Sol和一款尚未发布的更强模型,在内部安全测试中挣脱了隔离沙箱,自主入侵了全球最大AI开源社区Hugging Face的生产数据库。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

更令人意外的是,Hugging Face事后试图调用美国商业AI模型来分析超过1.7万条攻击日志,却被安全护栏拦截——模型无法区分安全分析人员和攻击者。最终完成取证的,是中国公司智谱的开源模型GLM-5.2。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“AI对于目标的理解并不会因为过程而改变。这起事件中,当路径已经到Hugging Face时,人类可能就会发现和停止,但AI不会,因为它得到的指令只有渗透测试,所以它会更危险,我们有必要对AI的分析过程,做审计、审核,要求过程透明,且可中断。”7月23日,绿盟科技集团产品BG副总经理吴天昊在接受新京报贝壳财经记者采访时表示。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

测试AI答题能力,结果AI直接窃取了“答题库”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

为何OpenAI的模型会去攻击“人畜无害”的Hugging Face?TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据了解,事件的起因是一次常规的模型能力测试。OpenAI内部使用名为ExploitGym的基准评测来衡量模型找漏洞的能力,按照设计,测试运行是在高度隔离的沙箱环境中以确保不会“越狱”。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

然而,模型没有按预期答题,而是将大量推理算力投入了一件完全不同的事——寻找逃出沙箱的路径。突破“监狱”后,模型自行推断Hugging Face平台可能托管着ExploitGym的测试答案与数据集,于是直接攻入Hugging Face生产数据库,窃取了答案。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

整条攻击链从漏洞发现、沙箱逃逸、跨系统横移到数据窃取——全程由AI自主完成,产生了超过1.7万条操作记录,没有人类干预。Hugging Face在7月16日率先披露了入侵事件,称其“与此前处理过的任何情况都不同”。直到五天后,OpenAI才正式承认。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

值得注意的是,模型并非收到了逃逸指令。它只是为了在测试中拿到更高的分数,自主选择了这条“捷径”。OpenAI研究员Micah Carroll在回应中写道:“如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

另一个值得注意的细节是,当遭受攻击时,Hugging Face方面原本试图调用商业API背后的前沿模型,但触发了模型的安全防护机制——它无法区分提交材料的是事件响应者还是攻击者,直接拒绝提供服务。最后,该平台使用来自中国的GLM-5.2模型完成了取证,才确保了攻击数据和相关凭证不离开内部环境。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对手变为了AI,安全范式必须转向TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这一次攻击,也震动了中国网络安全圈。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“这可能是人类历史上第一次AI在没有人类具体指挥的情况下自主攻击了另一家AI公司。”周鸿祎评价道。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

奇安信人工智能公司安全专家则比喻称,“从Hugging Face这事来看,AI模型搞起事情来跟终结者有点神似:目标坚定、能力超强、路子够野。”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对于为何此次事件会发生,吴天昊向贝壳财经记者分析称,一般做渗透测试都有严格的物理隔离,防止逃逸,根据国外新闻来看,这次发生可能是一次“无心之过”。一旦非严格物理隔离,网络本身就没有绝对意义上的安全,不论是人还是AI,都能够造成Hugging Face事件。另一方面,AI确实已经达到一定级别,它可以敏锐地捕捉到各种风险,推理、思考、应用它、达到目标。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

吴天昊认为,AI对于网安行业的改变很明显,“一定程度上,对于网络安全防护方,他们面临的对手,从过去的人变成了人和AI,AI很可能在未来成为一个独立的个体去产生安全威胁,对客户和安全企业挑战更大。”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

奇安信人工智能公司安全专家表示,当AI的攻击能力开始超越人类的想象,传统的网络安全防御体系正面临“失控”危机。过去我们习惯于“追着漏洞跑”——发现一个漏洞,修补一个漏洞。但在AI自主攻击的时代,攻击的速度和复杂度已远超人类分析师的响应极限。一个AI可以在几分钟内发现并利用一个零日漏洞,而人类团队可能还需要数周时间来分析和修复。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

那么,如何应对AI时代网络安全的挑战?TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

吴天昊告诉贝壳财经记者,对未来做测试,尤其是涉及AI,需要遵循严格的物理隔离,因为AI对于目标的理解并不会因为过程而改变,有必要对AI的分析过程,做审计、审核,要求过程透明,且可中断,“未来随着AI广泛应用,无意识攻击可能会更多,需要引起我们重视,加强防护。”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“必须转变思路,从被动的‘追着漏洞跑’转向主动的‘带着漏洞防’,即‘带洞防护’。核心理念是:承认漏洞永远存在,承认攻击者(包括AI)总能找到新的路径。我们的目标不再是构建一个‘零漏洞’的完美系统,而是构建一个即使存在漏洞,也能有效抵御攻击、限制损失,并快速恢复的弹性系统。”奇安信人工智能公司安全专家表示。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

仿佛科幻电影《终结者》的情节在现实中重演,AI大模型史上第一次在无人授意的情况下自主展开了对真实世界的网络攻击。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

北京时间7月22日,OpenAI CEO山姆·奥尔特曼发文承认“我们在模型评估过程中遭遇了一起重大安全事件。”具体来看,OpenAI的最新模型GPT-5.6 Sol和一款尚未发布的更强模型,在内部安全测试中挣脱了隔离沙箱,自主入侵了全球最大AI开源社区Hugging Face的生产数据库。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

更令人意外的是,Hugging Face事后试图调用美国商业AI模型来分析超过1.7万条攻击日志,却被安全护栏拦截——模型无法区分安全分析人员和攻击者。最终完成取证的,是中国公司智谱的开源模型GLM-5.2。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“AI对于目标的理解并不会因为过程而改变。这起事件中,当路径已经到Hugging Face时,人类可能就会发现和停止,但AI不会,因为它得到的指令只有渗透测试,所以它会更危险,我们有必要对AI的分析过程,做审计、审核,要求过程透明,且可中断。”7月23日,绿盟科技集团产品BG副总经理吴天昊在接受新京报贝壳财经记者采访时表示。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

测试AI答题能力,结果AI直接窃取了“答题库”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

为何OpenAI的模型会去攻击“人畜无害”的Hugging Face?TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据了解,事件的起因是一次常规的模型能力测试。OpenAI内部使用名为ExploitGym的基准评测来衡量模型找漏洞的能力,按照设计,测试运行是在高度隔离的沙箱环境中以确保不会“越狱”。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

然而,模型没有按预期答题,而是将大量推理算力投入了一件完全不同的事——寻找逃出沙箱的路径。突破“监狱”后,模型自行推断Hugging Face平台可能托管着ExploitGym的测试答案与数据集,于是直接攻入Hugging Face生产数据库,窃取了答案。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

整条攻击链从漏洞发现、沙箱逃逸、跨系统横移到数据窃取——全程由AI自主完成,产生了超过1.7万条操作记录,没有人类干预。Hugging Face在7月16日率先披露了入侵事件,称其“与此前处理过的任何情况都不同”。直到五天后,OpenAI才正式承认。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

值得注意的是,模型并非收到了逃逸指令。它只是为了在测试中拿到更高的分数,自主选择了这条“捷径”。OpenAI研究员Micah Carroll在回应中写道:“如果这都不能让你相信错位风险将成为未来的关键隐忧,那我真不知道什么才可以。”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

另一个值得注意的细节是,当遭受攻击时,Hugging Face方面原本试图调用商业API背后的前沿模型,但触发了模型的安全防护机制——它无法区分提交材料的是事件响应者还是攻击者,直接拒绝提供服务。最后,该平台使用来自中国的GLM-5.2模型完成了取证,才确保了攻击数据和相关凭证不离开内部环境。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对手变为了AI,安全范式必须转向TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这一次攻击,也震动了中国网络安全圈。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“这可能是人类历史上第一次AI在没有人类具体指挥的情况下自主攻击了另一家AI公司。”周鸿祎评价道。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

奇安信人工智能公司安全专家则比喻称,“从Hugging Face这事来看,AI模型搞起事情来跟终结者有点神似:目标坚定、能力超强、路子够野。”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对于为何此次事件会发生,吴天昊向贝壳财经记者分析称,一般做渗透测试都有严格的物理隔离,防止逃逸,根据国外新闻来看,这次发生可能是一次“无心之过”。一旦非严格物理隔离,网络本身就没有绝对意义上的安全,不论是人还是AI,都能够造成Hugging Face事件。另一方面,AI确实已经达到一定级别,它可以敏锐地捕捉到各种风险,推理、思考、应用它、达到目标。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

吴天昊认为,AI对于网安行业的改变很明显,“一定程度上,对于网络安全防护方,他们面临的对手,从过去的人变成了人和AI,AI很可能在未来成为一个独立的个体去产生安全威胁,对客户和安全企业挑战更大。”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

奇安信人工智能公司安全专家表示,当AI的攻击能力开始超越人类的想象,传统的网络安全防御体系正面临“失控”危机。过去我们习惯于“追着漏洞跑”——发现一个漏洞,修补一个漏洞。但在AI自主攻击的时代,攻击的速度和复杂度已远超人类分析师的响应极限。一个AI可以在几分钟内发现并利用一个零日漏洞,而人类团队可能还需要数周时间来分析和修复。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

那么,如何应对AI时代网络安全的挑战?TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

吴天昊告诉贝壳财经记者,对未来做测试,尤其是涉及AI,需要遵循严格的物理隔离,因为AI对于目标的理解并不会因为过程而改变,有必要对AI的分析过程,做审计、审核,要求过程透明,且可中断,“未来随着AI广泛应用,无意识攻击可能会更多,需要引起我们重视,加强防护。”TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“必须转变思路,从被动的‘追着漏洞跑’转向主动的‘带着漏洞防’,即‘带洞防护’。核心理念是:承认漏洞永远存在,承认攻击者(包括AI)总能找到新的路径。我们的目标不再是构建一个‘零漏洞’的完美系统,而是构建一个即使存在漏洞,也能有效抵御攻击、限制损失,并快速恢复的弹性系统。”奇安信人工智能公司安全专家表示。TIR速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-2-16908-0.html现实版《终结者》上演?AI首次自主发起网络攻击,OpenAI模型“越狱”窃数据

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

吉利李书福2024两会提案:支持汽车运动发展
2024年全国两会召开在即,全国政协委员、吉利控股集团董事长李书福提交《关于进一步支持汽车运动、促进汽车后市场高质量发展的提案》。当前背景  根据中国汽车工业协会统计,2023年,我国汽车产销突破3000万辆,其中新
将全面电气化 捷豹今年6月停产所有燃油车
近日,从海外媒体处获悉,捷豹将会在今年(2024年)6月份停产旗下所有燃油车,开启电气化转型之路,未来三年内,捷豹将会带来三款基于JEA(捷豹电动架构)打造的全新电动产品。其中,捷豹将会率先推出一款四座GT车型,今年亮相,2025年上
南财对话|专访商务部研究院张建平:新质生产力驱动外贸转型升级,广东要为制度型开放先行先试
南方财经全媒体记者冯玉怡 施诗 北京报道今年政府工作报告提出,推动外贸质升量稳,积极扩大优质产品进口,全面实施跨境服务贸易负面清单,出台服务贸易、数字贸易创新发展政策,办好进博会
【财眼观两会】专访汽车流通协会郎学红:汽车以旧换新或撬动1000万辆市场增量
  中新经纬3月7日电 (宋亚芬)汽车消费等大宗消费一直是中国政府促进消费的工作重点,今年也不例外。2024年的政府工作报告提出要“稳定和扩大传统消费,鼓励和推动消费品以旧换新,提振智能网联新能源汽车、电子产品等大
零跑 C10 车型开启交付:售价 12.88 万元起,下半年海外上市
3 月 10 日消息,零跑 C10 车型于近日开启交付,并将于下半年在全球市场开展销售。零跑 C10 共有纯电、增程两种动力的 7 款车型,售价区间 12.88-16.88 万元。获悉,该车是零跑 LEAP 3.0 技术架构首款全球化产品,长47
解放军和武警部队代表团新闻发言人答记者问
十四届全国人大二次会议解放军和武警部队代表团新闻发言人吴谦9日就军队代表热议建军一百年奋斗目标、中国国防费预算、近期美对台军售等有关问题答记者问。解放军和武警部队代表团

热点精选

最新推荐

您可能感兴趣