最严苛数学能力测试结果出炉:AI不如人类

中国科学报
40次浏览

 4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

人工智能(AI)迎来了迄今最严苛的数学能力测试。测试结果于6月10日揭晓——参赛的AI模型的解题水平仍不及顶尖数学家。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

据《自然》报道,这项测试隶属于“首轮求证”项目,旨在评估AI解决复杂数学难题的能力。研究人员向4款AI系统提出10道科研级数学难题,再由相关数学领域的匿名专家评审团对作答结果进行打分。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这次测试首次同时满足三大核心标准:题目均为前沿科研级数学问题、所有题目从未出现在模型训练数据中、由专业数学家进行正式评阅。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

测试的一大创新在于,所有题目从未出现在任何公开文献或互联网平台上,从根源上避免AI直接复述训练阶段学到的现有内容。10名来自不同数学细分领域的研究人员,各自拿出一道本人研究过程中已解答但尚未公开发表的原创题目。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

图片来源:vitacopS4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“首轮求证”项目曾在2月开展过一轮预测试,但测试结果并未得到项目组官方核验,也无法确认AI是否得到过人类协助。美国卡内基·梅隆大学的Jeremy Avigad评价道:“主办方显然经过了周密考量,本次测试的管控更严格、流程也更系统化。”4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

测试还规定,参赛模型必须为对外公开版本。因此美国谷歌公司专为解数学题打造的Aletheia无缘参赛。大型科技企业中仅有OpenAI携GPT 5.5专业版参赛。其余3支参赛队伍均来自高校,分别是美国加州大学洛杉矶分校、美国普林斯顿大学,以及瑞士苏黎世联邦理工学院。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

苏黎世联邦理工学院团队的模型表现最佳。该模型结合三大主流聊天机器人组成“顾问评审组”,对聊天生成预训练转换器的答案进行审核、优化,最终10题答对6题。第二名是加州大学洛杉矶分校团队,第三名是OpenAI团队,第四名是普林斯顿大学团队。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,苏黎世联邦理工学院团队还初步分析了全员未解出的4道题目。团队成员Johannes Schmitt表示,部分难题缘于AI始终想不到人类解题时用到的某个关键且巧妙的思路,无法补齐最后一环;针对部分题目,模型整体解题方向无误,却没能把所有细节推导完整。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“首轮求证”项目组成员、美国哈佛大学的Lauren Williams认为:“目前无法断定未解出的题目一定是难度更高的题目。我认为它们只是在研究方向、证明思路上和以往公开文献中的内容差距较大。”4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这次测试中,即便明确要求模型核对参考资料,各大推理模型依旧频繁出现幻觉问题,这也是大语言模型的通病。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

令Williams意外的是,所有AI作答在文献引用方面都“严重缺失”。多款模型借鉴了前人同类题目的解法,部分段落甚至逐句照搬论文原文、沿用专业符号与术语,却全程没有标注文献来源。4oa速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

如今这批测试题目已对外公开,此前未正式参赛的科技企业大概率会利用这些题目对自家模型开展非正式测试。

本文链接:http://www.gihot.com/show-11-35392-0.html最严苛数学能力测试结果出炉:AI不如人类

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

本田扩大召回部分进口Acura NSX汽车
  中新经纬3月4日电 据国家市场监督管理总局网站消息,日前,广汽本田汽车有限公司根据《缺陷汽车产品召回管理条例》和《缺陷汽车产品召回管理条例实施办法》的要求,向国家市场监督管理总局备案了召回计划。决定自2024
2024 款腾势 D9 上市 12 小时大定 11287 辆,售价 33.98 万元起
3 月 7 日消息,2024 款腾势 D9 于昨晚(3 月 6 日)正式上市,共推出了两种动力 8 款车型,售价 33.98 万元起。腾势今日宣布,新车上市 12 小时大定 11287 辆。2024 款腾势 D9 延续上一代车型的外观设计风格,全系标配电
北汽集团布局海外市场,计划在韩国高阳年产 20 万辆电动汽车
3 月 7 日消息,据 Chosunbiz 报道,韩国高阳市 3 月 6 日宣布,已与中国汽车公司北京汽车签署谅解备忘录,将在高阳自由经济区所在地建设大型电动汽车生产设施。通过该协议,北京汽车将在高阳自由经济区投资约 200 万
领克 07 EM-P 车型采用“The Next Day”设计语言、关键词“轻盈”
3 月 8 日消息,在目前正在进行的“领克07 EM-P车型全球首秀展示会上”,官方正式介绍了领克07 EM-P车型,可选银 / 蓝双色,不过没有公布具体价格信息和性能信息。外观方面,该车采用“The Next Day设计原则”,号称“为
一汽大众推出 ID.4 CROZZ 三周年版车型,售价 13.98 万元起
3 月 8 日消息,一汽大众日前宣布推出 ID.4 CROZZ 三周年版,限时成交价 13.98 万元起。相比于普通版车型,ID.4 CROZZ 三周年版标配数字蓝牙钥匙 2.0 版,在 C 柱上增加三周年版专属外观标识,还增加了前部发光 VW 徽
408率先搭载 神龙第四代360THP发动机下线
3月7日,神龙汽车宣布其第四代360THP发动机在襄阳工厂正式量产下线。这款车全新的1.5T发动机将首先搭载于新款标致408龘龘款上,后者将于3月18日正式上市。  官方表示,这款全新1.5T发动机是神龙汽车与STELLANTIS集团

热点精选

最新推荐

您可能感兴趣