小米大模型负责人罗福莉首秀:算力和数据也并非最后的护城河

界面新闻
177次浏览

罗福莉在小米大模型团队不仅仅要担任一个科学家角色,她需要真正带领小米做出能够落地其人车家全生态产品的AI基座模型及应用能力。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

12月17日,小米召开2025人车家全生态合作伙伴大会。但实际上,几乎所有目光都瞄准了其中一位演讲者——Xiaomi Mimo大模型负责人罗福莉。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

自离开DeepSeek、低调入职小米后,这是被行业誉为“AI天才少女”的罗福莉首次代表小米大模型团队公开对外。而大会开始前,小米发布并开源了最新MoE大模型MiMo-V2-Flash,这构成了罗福莉演讲的核心内容。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉在开场时指出,下一代智能体系统核心围绕Agent执行与Omni(全能)感知,涵盖记忆、推理、自主规划、决策、执行多个维度,应当从回答问题走向完成任务,并且应当统一多模态感知,为理解物理世界打基础。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

她由此表示,MiMo-V2-Flash在研发之初,主要围绕三个关键问题展开。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

第一,当代智能体必须要有高效的沟通语言,即代码能力和工具调用能力;第二,“高带宽”是Agent协作的关键,因此需要围绕极致推理效率设计模型结构;第三,模型训练范式逐步从预训练转向后训练,为了激发后训练的更多潜能,需要高效稳定的扩展强化学习训练。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

MiMo-V2-Flash是小米全新一代面向Agent的基座模型,总参数309B,激活参数15B,支持256k上下文窗口,整体针对推理、编码和Agent场景构建,支持混合思维模式,允许用户切换“思考”和即时回答模式。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在基准测试中,MiMo-V2-Flash的表现整体接近DeepSeek-V3.2,在SWE-Bench Verified/Multiligual、GPQA-Diamond等测试中略胜一筹,仅在HLE(人类最后的考试)及Arena-Hard(创意写作评估)两项测试中不及后者。此外,该模型在AIME2025能力上接近GPT-5和Gemini 3.0 Pro。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

作为首秀成果,同时也是小米未来可能全面落地各个业务场景的智能体模型底座,罗福莉花了大量篇幅重点讲述MiMo-V2-Flash的性价比优势及其技术来由。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

目前,MiMo-V2-Flash推理吞吐速度为每秒150个token,定价0.7元/每百万输入token,2.1元/每百万输出token。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在一张价格与速度构成的坐标轴图标中,MiMo-V2-Flash的速度与Gemini-2.5 Pro齐平,但价格是其约二十分之一;其价格是DeepSeek V3.2的约一半,但速度是后者的近3倍。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这样的推理效率主要来自两项创新。其一是模型注意力机制采用了Hybrid Sliding Window Attention(Hybrid SWA/混合滑动窗口注意力机制),其中SWA与Full Attention(全局注意力机制)的比例是5:1。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉指出,相较于一些复杂的Linear Attention(线性注意力机制),SWA在兼顾长短文的推理、知识检索等方面更胜一筹。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

一名AI大模型行业从业者对界面新闻记者表示,SWA本质上是一种Sparse Attention(稀疏注意力机制),业界普遍利用它解决长上下文的推理效率问题,其最大优势是可以将KV Cache保持在一个固定最大值,而不会随着上下文扩大而无限增长,从而实现降本增效的目的。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

他指出,这种机制核心要考虑的问题是在长文本任务中受到窗口策略限制可能表现不佳,这也是SWA会与Full Attention进行混合配比的原因之一。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

MiMo-V2-Flash另一项重要创新在于MTP(Multi-Token Prediction)。罗福莉表示,团队在训练时加入了一层MTP层以提高基座模型能力,并在微调时也加入了更多MTP层,最终在推理时加入了3层MTP,以加速并行token验证的方式实现了2-2.6倍推理速度的提升。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,为了提高强化学习训练的稳定性,MiMo团队提出了一种叫做Multi-Teacher On-Policy Distillation(MOPD)的后训练范式。相较于传统SFT+RL(微调+强化学习)的后训练方式,它可以提供稠密的token level监督学习信号,以简单快速的方式获得各个专家模型的能力。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“我们还发现一个很意外的事情,当学生很快超越老师的时候,我们能不能把老师替换成学生继续自我迭代提升,这是一个正在进行中的工作。”罗福莉预告称。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

从这场演讲可以看出的是,罗福莉在小米大模型团队不仅仅要担任一个科学家角色,她需要真正带领小米做出能够落地其人车家全生态产品的AI基座模型及应用能力——在汽车、手机、大家电、智能穿戴等硬件产品线全面开始跨越自己的阶段性门槛后,AI能力是小米撑起下一个十年技术叙事的核心底座。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉也几乎没有谈论自己,唯一涉及团队构成的表述是,一个“小而美,却充满创业精神极度好奇、追求真理”的年轻团队。此外,她认为在大模型的能力竞争中,算力和数据也并非最终的护城河,“而是科学的研究文化与方法,是将未知问题结合模型优势转化可用产品的能力”。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,在大会上,小米集团合伙人、集团总裁卢伟冰披露了小米“人车家全生态”的最新进展:用户规模方面,小米全球月活跃用户数达到7.42亿;硬件生态方面,小米AIoT平台连接设备数达到10.4亿,硬件合作伙伴数量突破15000家;软件生态方面,小米全球开发者规模达到120万,国内应用生态每月应用分发量突破11亿。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉在小米大模型团队不仅仅要担任一个科学家角色,她需要真正带领小米做出能够落地其人车家全生态产品的AI基座模型及应用能力。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

12月17日,小米召开2025人车家全生态合作伙伴大会。但实际上,几乎所有目光都瞄准了其中一位演讲者——Xiaomi Mimo大模型负责人罗福莉。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

自离开DeepSeek、低调入职小米后,这是被行业誉为“AI天才少女”的罗福莉首次代表小米大模型团队公开对外。而大会开始前,小米发布并开源了最新MoE大模型MiMo-V2-Flash,这构成了罗福莉演讲的核心内容。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉在开场时指出,下一代智能体系统核心围绕Agent执行与Omni(全能)感知,涵盖记忆、推理、自主规划、决策、执行多个维度,应当从回答问题走向完成任务,并且应当统一多模态感知,为理解物理世界打基础。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

她由此表示,MiMo-V2-Flash在研发之初,主要围绕三个关键问题展开。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

第一,当代智能体必须要有高效的沟通语言,即代码能力和工具调用能力;第二,“高带宽”是Agent协作的关键,因此需要围绕极致推理效率设计模型结构;第三,模型训练范式逐步从预训练转向后训练,为了激发后训练的更多潜能,需要高效稳定的扩展强化学习训练。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

MiMo-V2-Flash是小米全新一代面向Agent的基座模型,总参数309B,激活参数15B,支持256k上下文窗口,整体针对推理、编码和Agent场景构建,支持混合思维模式,允许用户切换“思考”和即时回答模式。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在基准测试中,MiMo-V2-Flash的表现整体接近DeepSeek-V3.2,在SWE-Bench Verified/Multiligual、GPQA-Diamond等测试中略胜一筹,仅在HLE(人类最后的考试)及Arena-Hard(创意写作评估)两项测试中不及后者。此外,该模型在AIME2025能力上接近GPT-5和Gemini 3.0 Pro。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

作为首秀成果,同时也是小米未来可能全面落地各个业务场景的智能体模型底座,罗福莉花了大量篇幅重点讲述MiMo-V2-Flash的性价比优势及其技术来由。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

目前,MiMo-V2-Flash推理吞吐速度为每秒150个token,定价0.7元/每百万输入token,2.1元/每百万输出token。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在一张价格与速度构成的坐标轴图标中,MiMo-V2-Flash的速度与Gemini-2.5 Pro齐平,但价格是其约二十分之一;其价格是DeepSeek V3.2的约一半,但速度是后者的近3倍。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这样的推理效率主要来自两项创新。其一是模型注意力机制采用了Hybrid Sliding Window Attention(Hybrid SWA/混合滑动窗口注意力机制),其中SWA与Full Attention(全局注意力机制)的比例是5:1。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉指出,相较于一些复杂的Linear Attention(线性注意力机制),SWA在兼顾长短文的推理、知识检索等方面更胜一筹。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

一名AI大模型行业从业者对界面新闻记者表示,SWA本质上是一种Sparse Attention(稀疏注意力机制),业界普遍利用它解决长上下文的推理效率问题,其最大优势是可以将KV Cache保持在一个固定最大值,而不会随着上下文扩大而无限增长,从而实现降本增效的目的。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

他指出,这种机制核心要考虑的问题是在长文本任务中受到窗口策略限制可能表现不佳,这也是SWA会与Full Attention进行混合配比的原因之一。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

MiMo-V2-Flash另一项重要创新在于MTP(Multi-Token Prediction)。罗福莉表示,团队在训练时加入了一层MTP层以提高基座模型能力,并在微调时也加入了更多MTP层,最终在推理时加入了3层MTP,以加速并行token验证的方式实现了2-2.6倍推理速度的提升。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,为了提高强化学习训练的稳定性,MiMo团队提出了一种叫做Multi-Teacher On-Policy Distillation(MOPD)的后训练范式。相较于传统SFT+RL(微调+强化学习)的后训练方式,它可以提供稠密的token level监督学习信号,以简单快速的方式获得各个专家模型的能力。 VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“我们还发现一个很意外的事情,当学生很快超越老师的时候,我们能不能把老师替换成学生继续自我迭代提升,这是一个正在进行中的工作。”罗福莉预告称。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

从这场演讲可以看出的是,罗福莉在小米大模型团队不仅仅要担任一个科学家角色,她需要真正带领小米做出能够落地其人车家全生态产品的AI基座模型及应用能力——在汽车、手机、大家电、智能穿戴等硬件产品线全面开始跨越自己的阶段性门槛后,AI能力是小米撑起下一个十年技术叙事的核心底座。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉也几乎没有谈论自己,唯一涉及团队构成的表述是,一个“小而美,却充满创业精神极度好奇、追求真理”的年轻团队。此外,她认为在大模型的能力竞争中,算力和数据也并非最终的护城河,“而是科学的研究文化与方法,是将未知问题结合模型优势转化可用产品的能力”。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,在大会上,小米集团合伙人、集团总裁卢伟冰披露了小米“人车家全生态”的最新进展:用户规模方面,小米全球月活跃用户数达到7.42亿;硬件生态方面,小米AIoT平台连接设备数达到10.4亿,硬件合作伙伴数量突破15000家;软件生态方面,小米全球开发者规模达到120万,国内应用生态每月应用分发量突破11亿。VWN速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-2-14585-0.html小米大模型负责人罗福莉首秀:算力和数据也并非最后的护城河

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

美国造车新势力大败退
  美国造车新势力大败退  几年前,美国造车新势力Rivian、Lucid和Fisker都曾风光无限,在投资者兴趣高涨的情况下,这些电动汽车制造商的市值一度有向特斯拉挑战的架势。而今天的情况却没那么乐观,2024年开年,造车新势力
美拟对中国制造联网汽车开展国家安全风险审查,商务部回应
  中新经纬3月4日电 商务部网站4日消息,商务部新闻发言人就美国政府拟对中国制造联网汽车开展国家安全风险审查答记者问。  有记者问:2月29日,美国政府发布公告,将对中国制造联网汽车开展国家安全风险审查。请问中方
国家发改委:汽车等以旧换新能创造万亿市场
十四届全国人大二次会议3月6日举行记者会,国家发展和改革委员会主任郑栅洁回答记者提问时表示,推动大规模设备更新和消费品以旧换新,是党中央、国务院着眼于高质量发展大局作出的重大部署,既能促进消费、拉动投资,也能
东风汽车召回 41123 辆风神 E70 ,极端情况可导致车辆失去动力
3 月 8 日消息,日前,东风汽车集团有限公司根据《缺陷汽车产品召回管理条例》和《缺陷汽车产品召回管理条例实施办法》的要求,向国家市场监督管理总局备案了召回计划。自即日起,召回 2022 年 7 月 13 日至 2023 年
全国人大会议收到代表议案298件
根据大会主席团决定的代表提出议案的截止时间,到3月8日12时,十四届全国人大二次会议秘书处共收到代表提出的议案298件。此外,目前大会秘书处收到代表提出的建议、批评和意见7000余件。
理想 MEGA 纯电 MPV 明日开启全国交付,展车试驾车已陆续到达全国零售中心
3 月 10 日消息,理想汽车在3月 1日推出了理想MEGA车型,这款车型将于明天开启交付,全国统一零售价55.98万元,目前相关展车、试驾车已陆续到达全国 464 家零售中心。官方表示,3月10日及之前大定用户以及预订用户都将

热点精选

最新推荐

您可能感兴趣