一支青年团队的“非主流”探索

中国科学报
26次浏览

 0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在中国科学院自动化研究所,有这样一群平均年龄仅24岁的年轻人:当外界的大模型竞赛不断冲击更大规模参数、更多算力的极限时,他们却选择独辟蹊径,要做一个“非主流”的智能模型。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这条路,源于对大脑工作方式的深度模仿。他们打造的类脑脉冲大模型“瞬悉1.0”和“瞬悉2.0”,不必遵循大模型赖以为生的“规模法则”(Scaling law),却在超长序列推理上实现了数量级的效率跃升。换言之,他们要模仿人脑开发智能模型。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这群年轻人身后,是一个让他们敢于“不走寻常路”的支撑体系——中国科学院与财政部联合启动的“稳定支持基础研究领域青年团队计划”(以下简称“青年团队计划”)。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

有别于需要频繁竞争、快速产出的常规项目,这一计划从顶层设计上就瞄准了那些最具挑战性、需要长期深耕的基础研究方向,给予青年科学家足够长的周期和足够耐心的空间。团队带头人、中国科学院自动化研究所研究员李国齐坦言:“它带来的不仅是经费,更是安心。”0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

李国齐(右一)课题组合影。自动化所供图


0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

一个好想法与“实现它的漫长征途”0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

故事的起点要回溯到2023年的夏秋之交,一个大胆的想法逐渐在李国齐的脑袋里“萌芽”。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

他当时注意到一个很有意思的现象:大模型在训练时依赖大规模并行计算,但在推理时却是循环式、一步一步“蹦”出词来。他联想到,人脑处理信息也不是全盘死记,而是不断动态更新、自然遗忘。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“我们能不能把人脑这种更高效、更动态的机制,真正融入大模型设计里?”0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

想法一抛出,很快引起了团队成员们的共鸣。据团队成员、自动化所博士生潘昱锜回忆,当时大家“都很兴奋”。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“大模型的基础计算单元很简单,你可以把它理解为将复杂的生物神经元抽象为一个点,即‘点神经元’,然后通过‘规模法则’基于深度学习架构扩展到一个非常大的规模。”李国齐对《中国科学报》解释说,这种路线通过堆叠海量神经元和参数,通过学习海量的数据,确实取得了很强的能力,但也带来了高算力消耗、高能耗、高时延,以及在记忆、推理和持续学习、通用性等方面的瓶颈。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

但,他们提出的是一种更接近大脑工作方式的实现路径。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

李国齐告诉记者,人脑中的神经元本身就拥有极其丰富的动力学特性。于是他们想,如果能把这种“内生复杂性”引入大模型的最底层,让每个计算单元从“点”变成一团能够自主呈现复杂动态的“小宇宙”,就有机会用更接近大脑工作方式的机理,去构建新一代通用智能模型。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“行不行得通,得试一试!”凭借在类脑计算和神经动力学方向上的积累,他们很快找到了一个关键且可操作的切入点——从神经元模型本身入手,探索把更复杂的神经动力学引入大模型的基础计算单元。通过持续讨论和不断试错,团队逐渐证明了这条看似“非主流”的路线,确实有可能为通用智能大模型提供一种新的技术路径。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

然而,初步的探索只是让他们看到了希望,这距离实现他们那个天才的想法还非常遥远。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

要不要继续做下去?不去尝试,所有人都觉得惋惜、甚至后悔;继续往前走,摆在他们面前的“漫漫征途”会燃尽他们的青春,到头来可能一无所获。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

潘昱锜对《中国科学报》说,当时就有同学担心,这个方向太难,短期做不出来可能会耽误出成果甚至影响毕业。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这种担心很真实:科研里很多真正有价值的问题,刚开始看起来都不那么“稳妥”。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

让年轻人有底气啃“硬骨头”0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

如果说科学直觉是火种,那么“青年团队计划”所提供的,就是让火种不灭且越烧越旺的炉膛。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在尝到了“可行”的甜头后,团队成员对实现类脑大模型有了更多渴望。但李国齐心里清楚,要深入做下去,不能光靠“望梅止渴”,必须得“拉点经费”。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

照理说,人工智能领域的前沿探索不难拿到资助。但李国齐知道,他们的想法能否实现存在不确定性,一般性的课题或经费支持,恐怕并不匹配。一番了解之后,他把目光聚焦到了既能给予稳定支持、又鼓励大胆试错的“青年团队计划”上。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

2024年,李国齐带领团队以“基于内生复杂性的类脑通用智能大模型”为题,申请并成功入选“青年团队计划”。这一计划的背后,是中国科学院在深化科技体制改革中着力推动的一项顶层设计——通过长期稳定的经费机制,把青年科学家从频繁“写本子”、找项目的焦虑中解放出来,让他们敢于向真正具有颠覆性潜力的方向发起冲锋。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

李国齐对此感受至深:“以前我需要到处找项目、凑经费、维持团队运转,没法把全部精力花在科学问题上。稳定支持青年团队这笔钱最实在的好处,就是让我们能静下心来,把主要时间和精力投入到对技术路线的探索中去,去探索那些更有挑战性、也更可能产生突破的方向。”0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这种前所未有的安心,激发出了团队里年轻人们惊人的潜力。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

当时摆在大家面前的,是一个几乎不可能完成的任务:一群几乎没有7B以上大模型开发经验的学生,要在512张国产加速卡组成的集群上,完成7B乃至76B类脑大模型的稳定高效训练。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“瞬悉1.0”研发中最关键的一跃,就是将模型适配到国产算力平台,完成大规模训练。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“国产平台跟英伟达生态差异很大,没有成熟经验可以借鉴,从底层的Triton算子到大规模训练框架,几乎全部要从零摸索。”李国齐说,那是整个项目的关键节点,也是他们遇到的最大“拦路虎”。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

那段时间,团队几乎开启了“连轴转”模式。没有任何人下令,所有人白天扎在机房调试参数、排查漏洞,晚上自动聚在一起复盘,会议室里盘旋最多的话就是“再试一次”“还有没有别的方法”。有一次,为了攻克一个通信延迟难题,几个年轻人和工程师一连数周逐行逐行地死“磕”代码。哪怕中间遭遇多次失败,大家也只是短暂喘口气,便立刻投进下一轮尝试,没有一个人提出过放弃。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

靠着一股韧劲,团队把一个个看似无法解决的小问题逐个击破,最终成功让类脑大模型在国产集群上跑通了全流程,并达到了预期的训练效率。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“当看到训练成功的那一刻,大家都松了口气,那一刻我们都觉得,所有的坚持都值得。”李国齐说,也正是这帮年轻人的硬磕和坚守,为“瞬悉1.0”的顺利落地打下了最坚实的基础。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

成果来得实实在在。他们打造的“瞬悉1.0”成为我国首个在国产GPU集群上跑通的类脑脉冲大模型。处理超长文本时,它的响应速度比主流模型快几十倍——400万词元长度下,首个词生成提速超过100倍;在手机上运行,解码速度也提升了4到15倍。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

半年后的“续作”——“瞬悉2.0”则更进一步:训练开销压缩了10倍,性能却不输业界强基线模型。它还在400万长度下实现了10倍以上的首词加速,精度损失不到0.7%。从语言到多模态,两个版本均已开源。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

用李国齐的话说:“这支年轻的团队,验证了朝着那个‘非主流’方向走下去是值得的。”0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在不确定性中坚持往前走0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在“青年团队计划”的支持下,这支青年团队更添了一股潜心基础研究的“定力”和“活力”。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

潘昱锜告诉《中国科学报》,在他们课题组,导师李国齐从不设置激进KPI,甚至鼓励大家“否定老师的观点”,也鼓励互相寻找研究中的缺陷。他们定期召开的组会上,大家每次都是畅所欲言,围绕着实际工作进展中出现的一些问题去讨论。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“我们聊得最多的是:人脑是经过自然界几亿年的进化形成的、具备精细结构和功能的通用智能体,这对于我们研究下一代AI基础模型和架构到底能起到什么样的借鉴作用?”潘昱锜对记者表示,他们的科研虽然有着宏大的目标,但又并不被其牵着鼻子走,大家更像是凭兴趣在“日拱一卒”。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“我们认为,科研的乐趣在于追求真理的过程中闪现的思想灵光。”在课题组,李国齐对学生们最大的要求,就是“学会如何提出好的问题”——这个问题需要有足够的意义,既和现有的研究技术路线上有足够的区分度,又具备实现的可能性。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“如果这条路彻底走通,对我们普通人到底意味着什么?”记者问李国齐。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

他的描绘很具体:未来的智能助手不必再臃肿地栖身于大型服务器,它可以轻快、低耗地部署到手机、机器人、智能汽车甚至可穿戴设备上,变得更人性化、更聪明,也更无处不在。更进一步,类脑大模型还能反哺人类自身:“更好地理解人类自己,去诊疗神经系统疾病,让人活得更健康更长寿”。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

李国齐透露,团队盯上的下一个“硬骨头”是多层级记忆机制如何在大模型中复现,以及大脑那份精妙绝伦的结构究竟能为下一代AI提供怎样的蓝图。目前,他们正同步构建超大规模精细神经元网络的“神经孪生”开源平台,并朝着更高能效的类脑专用芯片进发。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

作为“少数派”,李国齐坦陈也有“必须承受的煎熬”。他常对学生们说,你努力了,你也不一定能成功;但如果你不努力,你一定不会成功。0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“最大的煎熬不是‘不被理解’本身,而是你很清楚这个方向有价值,又必须承认,它离真正跑通还有很远。”他说,探索过程中肯定有外界质疑,也会有阶段性的自我怀疑——是不是投入了那么多,最后却可能走不通?0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

但他随即给出了团队能坚持下来的理由:问题本身足够重要,团队也一直在互相支撑。“这个过程中最重要的,是在不确定性里继续往前走。而正是这种不确定性,让每一个小的突破都变得极其珍贵。回头看看,我们确实是一步一步,把这条路走得愈发清晰了。”0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM


0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM


0Sk速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://www.gihot.com/show-11-35999-0.html一支青年团队的“非主流”探索

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

极氪 009 权益升级,新老车主终身免费使用完全智能驾驶辅助系统
3 月 6 日消息,极氪汽车日前宣布,极氪 009 新老车主可0 元升级ZEEKR AD 完全智能驾驶辅助系统,终身免费使用。此前,该服务的价格为 35000 元。目前,极氪 009 已开通 NZP 高速自主领航辅助功能。官方介绍称,在高速及
蔚来:3 月 8 日当天,女性用户可享受 32 项免费车辆检测服务
3 月 7 日消息,蔚来今日宣布,3 月 8 日当天,女性用户自驾前往蔚来服务中心,即可享受 32 项免费车辆检测服务。用户需要提前通过「一键维保」,预约 3 月 8 日自驾进店服务。免费检测包括空调系统、制动系统、车轮轮
北汽集团称“在韩国高阳建厂”信息不实
  中新经纬3月8日电 7日晚,北汽集团官方微博发布声明称,“在韩国高阳建厂”的相关报道不实。  声明显示,北汽集团发现部分韩国媒体发布了关于“北汽和韩国高阳市签订合作备忘录,在韩国高阳市建立年产20万台电动车厂”
匈牙利外长驳斥中国汽车威胁论:这不是一个零和游戏
3月9日消息,新能源汽车换道超车成果显现,当前中国已成为全球最大汽车出口国,2023年新能源汽车产销量占全球比重超过60%。然而,木秀于林风必摧之,正当中国汽车高歌猛进的时候,一些老牌资本主义国家开始
全国人大代表陈慧:把贡柑“吃干榨尽”, 打造具有竞争力的广东农产品IP
南方财经全媒体见习记者林鹏 广州报道在全国两会广东代表团中,有一位被称为“贡柑妹妹”的代表陈慧,她是德庆县东璞生态农业有限公司的党支部书记、负责人,同时也是一位返乡创业大学生,
配第5代DM-i技术 比亚迪秦L无伪装谍照
近日,网络上曝光了接近量产状态的比亚迪秦L路试谍照,该车已经完全去掉了伪装,让我们能够更清晰的看到实车。根据官方的定位,其将高于秦PLUS车型,仍然定位为一款紧凑型轿车,售价或在12-13万元起。该车将搭载比亚迪第5代D

热点精选

最新推荐

您可能感兴趣