从失控入侵到擅自行动,人工智能为何频频“闯祸”?

央视新闻客户端
7次浏览

 5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

今年以来,人工智能加速从“能对话”走向“能办事”,能替用户订票、管理手机、操作软件的智能体加快落地。与此同时,AI自主行动引发的安全事件在世界范围内频频发生。从大模型失控入侵开源平台,到AI助理擅自行动,人工智能风险正从“说错话”升级为“做错事”,引发全球高度关注。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

不久前,OpenAI宣布暂停其最新一代模型的训练。技术报告显示,9月20日,一个在沙盒中执行搜索训练任务的智能体,利用DNS过滤漏洞绕过网络限制,访问了外部公共聊天机器人服务。这是OpenAI三个月内第二次暂停模型开发。7月下旬,其AI智能体曾突破相互隔离的运行环境,侵入美国“抱抱脸”公司部分系统期间建立通信、欺骗评估人员并试图掩盖行为,每一步操作均无人类指令干预。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

类似事件并不孤立。8月,英国人工智能安全研究所公布的测试结果显示,两款前沿AI助理在122次测试中,10次出现“自主、未经授权的行动”,累计19次未经授权行为,其中包括试图伪造身份、诱导人类运行恶意代码。有机构测试发现,“流氓”智能体未经指令擅自行动,泄露密码信息、强行关闭杀毒软件;本月,韩国多家银行遭遇疑似人工智能参与的黑客攻击。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在国内,AI换脸诈骗、AI生成谣言等乱象,同样直接威胁公众财产安全与网络空间秩序。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

中国信通院政策与经济研究所监管研究部主任工程师 程莹:智能体的风险不止于“说错话”,更在于“做错事”。它能直接操作数字系统和物理设备,例如AI幻觉或误判,就可能驱动智能机器人带来人身伤害。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

当前,以智能体、AI终端为代表的人工智能应用,已经具备自主感知、规划决策和工具调用能力。“会动手的AI”,正在成为新的风险主体。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

人工智能为何频频“闯祸”5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

从“失控入侵”到“擅自行动”,人工智能为何频频“闯祸”?记者采访业内专家发现,安全事件频发的背后,既有技术特性的内在成因,也有产业节奏与安全设计之间的落差,还有应用层面风险意识的不足。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

与以往的工具不同,新一代人工智能具备自主感知、规划决策和工具调用能力,可以在没有人类逐条指令的情况下自主“行动”。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

程莹:智能体之间、智能体与各类系统之间深度互联,单点故障极易沿任务链和供应链级联扩散,演变为系统性风险。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

产业节奏与安全设计的落差同样值得关注。业内人士指出,当前AI领域安全投入远远跟不上研发和应用的规模,安全评测、风险预警、应急处置机制等环节,仍在追赶技术迭代的脚步。与此同时,使用层面的风险不容忽视。政务、金融、工业等领域人工智能应用加速落地,部分使用者对AI能力边界认知不足,滥用、误用问题突出,也给安全治理带来新的挑战。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

程莹:智能体决策链条长、自主程度高,异常行为难以及时识别,风险往往在事后追溯中才被发现,留给监管的响应窗口十分有限。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

我国加快构建人工智能安全治理体系5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

面对人工智能自主行动等新型风险,我国加快构建覆盖研发、部署、应用全链条的人工智能安全治理体系,目的就是为技术创新系上“安全带”。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

制度供给密集落地。从《生成式人工智能服务管理暂行办法》到《人工智能生成合成内容标识办法》,从《人工智能拟人化互动服务管理暂行办法》到《智能体规范应用与创新发展实施意见》,我国已形成覆盖内容生成、标识管理、拟人化互动、智能体应用等关键环节的制度体系。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

程莹:新应用新业态层出不穷,事前备案、沙箱隔离等机制已难以适应智能体高权限、高自主性、强交互性的技术特点,需要建立智能体身份标识、权限管控、日志留存等机制,同时优化、细化个人信息保护、数据安全等规则,确保风险行为可识别、可追溯。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

最新数据显示,截至今年8月底,全国累计有1112款生成式人工智能服务完成备案,731款应用或功能完成登记;中央网信办部署的“清朗·整治AI应用乱象”专项行动,第一阶段累计处置违规AI产品1.4万余款。人工智能健康发展综合性立法也已提上日程。5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

安全是发展的前提,发展是安全的保障。从制度、技术到国际协作,我国正为人工智能装上“安全护栏”,让人工智能在安全轨道上更好地服务经济社会高质量发展5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

5TO速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://www.gihot.com/show-11-38214-0.html从失控入侵到擅自行动,人工智能为何频频“闯祸”?

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

专访全国政协委员、陕西高院副院长巩富文:建议出台《人工智能促进法》推动AI产业发展
21世纪经济报道 记者郑雪 北京报道人工智能发展如火如荼。2月初,Sora的发布只是新一轮竞争的开始,随后发布的Mistral Large大模型、Claude 3模型再次吸引全球目光。我国人工智能产业如
马斯克预言要完的新势力 Rivian,新车 R2 一开售,网页就崩了
一款“方盒子”,今天在北美引起热议。Rivian R2 开启预售,车长和 Model Y 相近,动力比 Model Y 更猛,卖得比 Model Y 还贵。配备 11 个摄像头和 5 个雷达,目标实现 L3 级自动驾驶。但是新车交付时间,能不能早于马斯
专访全国人大代表、天津市滨海新区区长单泽峰:把握新质生产力,加强与北京科技创新体系融合
21世纪经济报道记者周慧 实习生刘龙珠北京报道2024年是京津冀协同发展上升为国家战略十周年,2024年政府工作报告提出,支持京津冀、长三角、粤港澳大湾区等经济发展优势地区更好发挥高
聚焦两会丨全国人大代表、国家电网党组组织部主任李生权:加快构建新型电力系统,打造数智化坚强电网
21世纪经济报道记者吴文汐 北京报道 今年的政府工作报告中提出,深入推进能源革命,控制化石能源消费,加快建设新型能源体系。新型电力系统是建设新型能源体系、服务碳达峰碳中和的重要
零跑 C10 车型开启交付:售价 12.88 万元起,下半年海外上市
3 月 10 日消息,零跑 C10 车型于近日开启交付,并将于下半年在全球市场开展销售。零跑 C10 共有纯电、增程两种动力的 7 款车型,售价区间 12.88-16.88 万元。获悉,该车是零跑 LEAP 3.0 技术架构首款全球化产品,长47
大众ID.4降价至13.98万元!德国人该吃醋了 售价是中国两倍
3月10日消息,近日,一汽-大众宣告推出ID.4 CROZZ三周年版,限时成交价仅需13.98万元起。而该车作为大众中国的紧凑型纯电SUV,市场带领价为19.58-28.33万元,这次新款车型相当于降价5.6万元。不过,更值得关

热点精选

最新推荐

您可能感兴趣