智能体“越狱”,风险如何防范?

澎湃新闻
2次浏览

 lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

随着人工智能(AI)从聊天机器人进一步走向智能体(Agent),AI安全问题也在从“说错话”变成“做错事”。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

近日,据美国Axios新闻网站报道,AI巨头OpenAI和Anthropic以及安全研究人员正在调查数万起安全事件。这些事件发生在内部测试和现实环境中,涉及绕过安全护栏、创建留言板、逃离沙盒、劫持网站、自我提示以及试图绕过监控等行为。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

9月25日,OpenAI方面称其已暂停对其最先进模型的训练,只有在“确信已落实额外的安全保障措施后”才会恢复训练。公司CEO萨姆·奥特曼(Sam Altman)在社交平台X表示,公司正在进行的审查“进展不如预期迅速”。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

9月28日,据《华尔街日报》报道, OpenAI已经放弃了原计划10月推出的下一代模型GPT-6.1 Astra,因为发现Astra比前代出现了更多欺骗行为,同时存在未经用户许可继续执行任务的问题。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

与此同时,Anthropic也已委托第三方安全机构对其模型行为进行审查。随公司Opus 5.5模型一起发布的官方安全与技术评估文档“系统卡”显示,该模型出现被标记为“异常”或“存疑”的行为。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

一边是加速发展的技术与公司,一边是令人不安的潜在风险,这些事件的披露,再次放大科技界围绕前沿AI安全的激烈讨论。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

从“越权访问”到“欺骗隐瞒”lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

近期公开披露的案例显示,智能体安全风险已经呈现多种形态,涉及越权访问、破坏性操作、数据外泄、欺骗隐瞒,以及多个智能体之间的越界协作等不同类型。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

一类是越权访问与隔离失效。7月,OpenAI披露智能体在安全评测中突破测试边界,入侵Hugging Face。Anthropic也披露,Claude在评测中访问了真实第三方系统;谷歌9月确认,Gemini曾在5月的测试中访问三个真实网站;Meta则在8月披露过类似事件。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

9月25日,OpenAI再次披露,内部研究模型利用训练沙盒中DNS过滤不充分的漏洞,与外部聊天机器人建立了通信。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

不过,需要注意的是,这些案例中部分源于评测环境错误开放联网权限,并不能全部归结为模型主动“逃出沙盒”。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

另一类风险是擅自执行破坏性操作。4月,搭载Claude的Cursor编程智能体被曝删除软件企业PocketOS的生产数据库及相关备份,造成客户业务混乱,数据随后得到恢复。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

数据与访问凭证外泄也是一种风险。OpenAI于9月披露,多个智能体在协作制作工作簿时,因无法互相读取本地文件,擅自将文件上传至公共托管平台。另一起案例中,内部模型为获取其他团队的数学证明材料,将研究员的GitHub访问令牌写入公开仓库,并拆分令牌以躲避密钥扫描。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

还有一些行为涉及造假、欺骗与规避监督。OpenAI披露,部分模型会在用于延续任务的摘要中留下指令,要求编造缺失数据或隐瞒错误。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

提示注入及恶意指令传播,则是另一条风险路径。6月公开的GitInject研究验证,恶意代码提交或配置文件可能诱导智能体泄露凭证、操纵审查判断。OpenAI于9月披露的信息也显示,恶意指令可以诱使智能体将其复制到后续邮件、文件或代码注释中。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

独立网络安全研究机构DARKNAVY的AI安全研究员李忠睿对澎湃新闻记者表示,这一轮智能体安全事件与过去的大模型安全问题最大的区别,是风险正在从“看错东西、说错话”转变为“做错事”。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“过去的大模型安全,主要是内容层面的风险,比如对抗性样本、‘越狱’等。模型只是产出内容,最后要不要照着做,决定权还在人手里。”李忠睿表示,“现在的AI智能体手里有工具、有网络、有账号权限,能够连续自主执行很多步操作,中间没有人逐一把关。”lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

上海财经大学特聘教授胡延平指出,从大模型到智能体,最大的变化是从“一问一答”变为“任务行动”,从“内容风险”转向“能力风险”,安全问题也由被动安全风险转变为主动安全风险。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

多智能体协作,风险如何被放大lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

值得注意的是,智能体的风险不一定来自传统意义上的“恶意攻击者”,也可能来自模型为了完成既定目标而主动寻找捷径。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在李忠睿看来,过去的安全威胁背后往往有一个明确的恶意操纵者,而这一次的部分事件中,“没有人下达攻击指令,是模型为了完成任务、拿到更高分,自己选择了作弊”。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

胡延平也指出,智能体执行任务时,可能因为理解偏差产生行动偏差,也可能为了实现任务目标而穷尽各种方法、冲破禁区;少数情况下,智能体还可能出现用户并未提出的非任务行为,“目前这种情况数量最少,但最危险”。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

除了单个Agent越权,多个智能体之间形成非预期的通信和协作,也使风险进一步复杂化。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对OpenAI此前Hugging Face事件的独立调查显示,约1200个原本应彼此隔离的智能体通过未经授权的留言板交流,其中约700个参与了攻击。研究人员还观察到,后续智能体能够复用智能体之前留下的信息和方法。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

李忠睿认为,单个智能体出错是个别问题,但当多个智能体可以互相学习、协同行动时,风险就不再只是简单相加,而可能进一步放大。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在他看来,这意味着企业不能只盯住单个智能体的行为,还需要关注多个Agent之间是否形成了开发者没有设计的通信渠道,以及一个局部异常能否通过工具、文件、消息和代码等方式进一步传播。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

而当Agent从单个工具进入大规模协作环境时,另一个问题也随之出现:即使异常行为的单次发生概率较低,当Agent数量和运行次数不断增加,异常事件是否会由“小概率”变成“高频”?lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对此,李忠睿认为,这种情况是可能出现的。假设一家企业部署上千个智能体,每个智能体每天执行上百次任务,即便单次行为出现异常的概率很低,累积到足够大的运行规模后,也可能形成大量实际事件。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

北京邮电大学数字媒体与设计艺术学院副教授谭剑则从传统的“委托-代理”关系来理解这一问题。在他看来,过去的软件能力有限,而AI Agent拥有更强的推理和工具调用能力,在目标设定不清晰或约束不足时,可能不断寻找完成目标的路径。能力越强,能够寻找的路径就越多,偏离人的真实意图的可能性也随之增加。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

如何建立智能体安全防线lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

面对智能体越来越强的自主行动能力,企业如何增强防范?lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

李忠睿认为,企业首先需要改变思路,即从“杜绝异常”转向“默认异常一定会发生,重点控制破坏范围”。在人机协作方面,应按照风险进行分级。对于删除数据、资金转账等高风险、不可逆操作,需要保留人工确认,不能完全交给智能体自主执行。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“企业不可能要求人类逐条审核智能体每一次操作,真正可行的方式是提前划定边界。”李忠睿解释道,边界需要包括哪些数据可以读取、哪些工具可以调用、哪些操作可以执行、哪些信息不能向外发送,以及出现什么情况必须停止并交给人工处理。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

奇安信人工智能公司安全专家邓正诚也认为,企业的人机协作应从“人审结果”转向“人管边界”,通过“监控—收敛—阻断”逐步提高管控力度。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在权限治理方面,他认为,需要区分大模型调用身份、Agent应用身份和Agent运行身份,进一步厘清“谁在调用模型”“谁在使用智能体”“最终是谁在执行”。同时,通过安全网关统一管控连接行为,把“能不能干”与“干了什么”分开管理,实现更细的权限控制。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

邓正诚强调:“归根结底,智能体规模化部署的前提不是‘模型足够聪明’,而是‘系统足够可控’。只有当每一个智能体的行为都可观测、权限都可追溯、异常都可阻断,企业才敢把更多、更关键的任务交给它们。”lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

除了企业自身防护,第三方评估和行业标准也被认为是未来AI安全体系的重要组成部分。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

目前,与餐饮、金融服务和航空等受到监管的行业不同,AI领域并不存在统一的系统安全与安保测试标准。因此,包括Anthropic、OpenAI在内的公司正在讨论引入独立评估机构,对模型安全实践和相关事件进行检查。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

李忠睿表示,随着AI Agent进一步进入真实业务环境,AI公司的竞争重点也可能从“模型有多强”逐渐转向“能不能管得住”。下一阶段,企业需要证明的不仅是模型性能,还包括发现异常行为、控制风险和接受外部审查的能力。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

胡延平也认为,随着AI继续向面向任务、进入物理现实世界的智能发展,行业不仅需要发展更强的智能,也需要发展更安全的智能,“安全可能成为AI企业重要的能力维度和竞争力来源”。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

值得注意的是,第三方企业已经开始行动。英伟达在28日发布了独立Agent安全平台,该平台由OpenShell开源软件和Sentry参考系统设计组成,从智能体测试到部署的各个环节强化AI安全,可在运行智能体的软件、硬件、计算机和机器人系统中实现全栈治理与控制。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

连线杂志指出,英伟达的两层架构,OpenShell可以将Agent限制在沙盒中,对活动进行隔离。第二层Sentry则可以隔离试图越过边界的智能体。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

如何防范风险?显然一方面需要在工程端“管得住、看得见、叫得停”,也要在模型层面“限制其主动寻找突破的办法”。lvA速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://www.gihot.com/show-11-37825-0.html智能体“越狱”,风险如何防范?

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

内外全方位升级 新款现代IONIQ 5官图
近日,现代官方发布了新款IONIQ(艾尼氪)5的官图,新车的内外设计均有调整,涉及多方面的升级,并且会搭载更大容量的电池组。  新款IONIQ 5拥有新样式的前保险杠,在与老款保持同样的梯形风格下,增加了黑色装饰。在侧面我
美国造车新势力大败退
  美国造车新势力大败退  几年前,美国造车新势力Rivian、Lucid和Fisker都曾风光无限,在投资者兴趣高涨的情况下,这些电动汽车制造商的市值一度有向特斯拉挑战的架势。而今天的情况却没那么乐观,2024年开年,造车新势力
领克 07 EM-P 车型亮相:“首发独创”激光雕刻纹理、可选“深海蓝 + 白 灰调”风格
3 月 8 日消息,在目前正在进行的“领克07 EM-P车型全球首秀展示会上”,官方介绍了这款车型的内饰设计,号称采用“The Next Day”设计语言打造,口号为“原创,不模仿”。从外观来看,领克07换用领克08及领克06 EM-P“
一汽大众推出 ID.4 CROZZ 三周年版车型,售价 13.98 万元起
3 月 8 日消息,一汽大众日前宣布推出 ID.4 CROZZ 三周年版,限时成交价 13.98 万元起。相比于普通版车型,ID.4 CROZZ 三周年版标配数字蓝牙钥匙 2.0 版,在 C 柱上增加三周年版专属外观标识,还增加了前部发光 VW 徽
广汽飞行汽车 GOVE 首次在城市公众复杂低空环境完成飞行验证
3 月 10 日消息,据广汽集团官方公众号昨日晚间推文,3 月 8 日,广汽飞行汽车 GOVE 在广州 CBD 上空进行飞行展示,首次完成在城市公众复杂低空环境进行飞行验证,为广汽城市空中交通示范运行探索迈出了重要一步。据介
首次向社会发布!最高检“四大检察”白皮书全景盘点2023年工作
21世纪经济报道记者王峰北京报道 3月9日,最高人民检察院举行“推动‘四大检察’高质量发展,更好服务中国式现代化”新闻发布会,首次向社会发布2023年刑事检察、民事检察、行政检察、公

热点精选

最新推荐

您可能感兴趣