小米大模型负责人罗福莉首秀:算力和数据也并非最后的护城河

界面新闻
34次浏览

罗福莉在小米大模型团队不仅仅要担任一个科学家角色,她需要真正带领小米做出能够落地其人车家全生态产品的AI基座模型及应用能力。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

12月17日,小米召开2025人车家全生态合作伙伴大会。但实际上,几乎所有目光都瞄准了其中一位演讲者——Xiaomi Mimo大模型负责人罗福莉。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

自离开DeepSeek、低调入职小米后,这是被行业誉为“AI天才少女”的罗福莉首次代表小米大模型团队公开对外。而大会开始前,小米发布并开源了最新MoE大模型MiMo-V2-Flash,这构成了罗福莉演讲的核心内容。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉在开场时指出,下一代智能体系统核心围绕Agent执行与Omni(全能)感知,涵盖记忆、推理、自主规划、决策、执行多个维度,应当从回答问题走向完成任务,并且应当统一多模态感知,为理解物理世界打基础。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

她由此表示,MiMo-V2-Flash在研发之初,主要围绕三个关键问题展开。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

第一,当代智能体必须要有高效的沟通语言,即代码能力和工具调用能力;第二,“高带宽”是Agent协作的关键,因此需要围绕极致推理效率设计模型结构;第三,模型训练范式逐步从预训练转向后训练,为了激发后训练的更多潜能,需要高效稳定的扩展强化学习训练。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

MiMo-V2-Flash是小米全新一代面向Agent的基座模型,总参数309B,激活参数15B,支持256k上下文窗口,整体针对推理、编码和Agent场景构建,支持混合思维模式,允许用户切换“思考”和即时回答模式。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在基准测试中,MiMo-V2-Flash的表现整体接近DeepSeek-V3.2,在SWE-Bench Verified/Multiligual、GPQA-Diamond等测试中略胜一筹,仅在HLE(人类最后的考试)及Arena-Hard(创意写作评估)两项测试中不及后者。此外,该模型在AIME2025能力上接近GPT-5和Gemini 3.0 Pro。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

作为首秀成果,同时也是小米未来可能全面落地各个业务场景的智能体模型底座,罗福莉花了大量篇幅重点讲述MiMo-V2-Flash的性价比优势及其技术来由。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

目前,MiMo-V2-Flash推理吞吐速度为每秒150个token,定价0.7元/每百万输入token,2.1元/每百万输出token。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在一张价格与速度构成的坐标轴图标中,MiMo-V2-Flash的速度与Gemini-2.5 Pro齐平,但价格是其约二十分之一;其价格是DeepSeek V3.2的约一半,但速度是后者的近3倍。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这样的推理效率主要来自两项创新。其一是模型注意力机制采用了Hybrid Sliding Window Attention(Hybrid SWA/混合滑动窗口注意力机制),其中SWA与Full Attention(全局注意力机制)的比例是5:1。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉指出,相较于一些复杂的Linear Attention(线性注意力机制),SWA在兼顾长短文的推理、知识检索等方面更胜一筹。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

一名AI大模型行业从业者对界面新闻记者表示,SWA本质上是一种Sparse Attention(稀疏注意力机制),业界普遍利用它解决长上下文的推理效率问题,其最大优势是可以将KV Cache保持在一个固定最大值,而不会随着上下文扩大而无限增长,从而实现降本增效的目的。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

他指出,这种机制核心要考虑的问题是在长文本任务中受到窗口策略限制可能表现不佳,这也是SWA会与Full Attention进行混合配比的原因之一。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

MiMo-V2-Flash另一项重要创新在于MTP(Multi-Token Prediction)。罗福莉表示,团队在训练时加入了一层MTP层以提高基座模型能力,并在微调时也加入了更多MTP层,最终在推理时加入了3层MTP,以加速并行token验证的方式实现了2-2.6倍推理速度的提升。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,为了提高强化学习训练的稳定性,MiMo团队提出了一种叫做Multi-Teacher On-Policy Distillation(MOPD)的后训练范式。相较于传统SFT+RL(微调+强化学习)的后训练方式,它可以提供稠密的token level监督学习信号,以简单快速的方式获得各个专家模型的能力。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“我们还发现一个很意外的事情,当学生很快超越老师的时候,我们能不能把老师替换成学生继续自我迭代提升,这是一个正在进行中的工作。”罗福莉预告称。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

从这场演讲可以看出的是,罗福莉在小米大模型团队不仅仅要担任一个科学家角色,她需要真正带领小米做出能够落地其人车家全生态产品的AI基座模型及应用能力——在汽车、手机、大家电、智能穿戴等硬件产品线全面开始跨越自己的阶段性门槛后,AI能力是小米撑起下一个十年技术叙事的核心底座。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉也几乎没有谈论自己,唯一涉及团队构成的表述是,一个“小而美,却充满创业精神极度好奇、追求真理”的年轻团队。此外,她认为在大模型的能力竞争中,算力和数据也并非最终的护城河,“而是科学的研究文化与方法,是将未知问题结合模型优势转化可用产品的能力”。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,在大会上,小米集团合伙人、集团总裁卢伟冰披露了小米“人车家全生态”的最新进展:用户规模方面,小米全球月活跃用户数达到7.42亿;硬件生态方面,小米AIoT平台连接设备数达到10.4亿,硬件合作伙伴数量突破15000家;软件生态方面,小米全球开发者规模达到120万,国内应用生态每月应用分发量突破11亿。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉在小米大模型团队不仅仅要担任一个科学家角色,她需要真正带领小米做出能够落地其人车家全生态产品的AI基座模型及应用能力。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

12月17日,小米召开2025人车家全生态合作伙伴大会。但实际上,几乎所有目光都瞄准了其中一位演讲者——Xiaomi Mimo大模型负责人罗福莉。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

自离开DeepSeek、低调入职小米后,这是被行业誉为“AI天才少女”的罗福莉首次代表小米大模型团队公开对外。而大会开始前,小米发布并开源了最新MoE大模型MiMo-V2-Flash,这构成了罗福莉演讲的核心内容。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉在开场时指出,下一代智能体系统核心围绕Agent执行与Omni(全能)感知,涵盖记忆、推理、自主规划、决策、执行多个维度,应当从回答问题走向完成任务,并且应当统一多模态感知,为理解物理世界打基础。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

她由此表示,MiMo-V2-Flash在研发之初,主要围绕三个关键问题展开。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

第一,当代智能体必须要有高效的沟通语言,即代码能力和工具调用能力;第二,“高带宽”是Agent协作的关键,因此需要围绕极致推理效率设计模型结构;第三,模型训练范式逐步从预训练转向后训练,为了激发后训练的更多潜能,需要高效稳定的扩展强化学习训练。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

MiMo-V2-Flash是小米全新一代面向Agent的基座模型,总参数309B,激活参数15B,支持256k上下文窗口,整体针对推理、编码和Agent场景构建,支持混合思维模式,允许用户切换“思考”和即时回答模式。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在基准测试中,MiMo-V2-Flash的表现整体接近DeepSeek-V3.2,在SWE-Bench Verified/Multiligual、GPQA-Diamond等测试中略胜一筹,仅在HLE(人类最后的考试)及Arena-Hard(创意写作评估)两项测试中不及后者。此外,该模型在AIME2025能力上接近GPT-5和Gemini 3.0 Pro。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

作为首秀成果,同时也是小米未来可能全面落地各个业务场景的智能体模型底座,罗福莉花了大量篇幅重点讲述MiMo-V2-Flash的性价比优势及其技术来由。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

目前,MiMo-V2-Flash推理吞吐速度为每秒150个token,定价0.7元/每百万输入token,2.1元/每百万输出token。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在一张价格与速度构成的坐标轴图标中,MiMo-V2-Flash的速度与Gemini-2.5 Pro齐平,但价格是其约二十分之一;其价格是DeepSeek V3.2的约一半,但速度是后者的近3倍。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这样的推理效率主要来自两项创新。其一是模型注意力机制采用了Hybrid Sliding Window Attention(Hybrid SWA/混合滑动窗口注意力机制),其中SWA与Full Attention(全局注意力机制)的比例是5:1。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉指出,相较于一些复杂的Linear Attention(线性注意力机制),SWA在兼顾长短文的推理、知识检索等方面更胜一筹。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

一名AI大模型行业从业者对界面新闻记者表示,SWA本质上是一种Sparse Attention(稀疏注意力机制),业界普遍利用它解决长上下文的推理效率问题,其最大优势是可以将KV Cache保持在一个固定最大值,而不会随着上下文扩大而无限增长,从而实现降本增效的目的。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

他指出,这种机制核心要考虑的问题是在长文本任务中受到窗口策略限制可能表现不佳,这也是SWA会与Full Attention进行混合配比的原因之一。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

MiMo-V2-Flash另一项重要创新在于MTP(Multi-Token Prediction)。罗福莉表示,团队在训练时加入了一层MTP层以提高基座模型能力,并在微调时也加入了更多MTP层,最终在推理时加入了3层MTP,以加速并行token验证的方式实现了2-2.6倍推理速度的提升。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,为了提高强化学习训练的稳定性,MiMo团队提出了一种叫做Multi-Teacher On-Policy Distillation(MOPD)的后训练范式。相较于传统SFT+RL(微调+强化学习)的后训练方式,它可以提供稠密的token level监督学习信号,以简单快速的方式获得各个专家模型的能力。 sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“我们还发现一个很意外的事情,当学生很快超越老师的时候,我们能不能把老师替换成学生继续自我迭代提升,这是一个正在进行中的工作。”罗福莉预告称。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

从这场演讲可以看出的是,罗福莉在小米大模型团队不仅仅要担任一个科学家角色,她需要真正带领小米做出能够落地其人车家全生态产品的AI基座模型及应用能力——在汽车、手机、大家电、智能穿戴等硬件产品线全面开始跨越自己的阶段性门槛后,AI能力是小米撑起下一个十年技术叙事的核心底座。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

罗福莉也几乎没有谈论自己,唯一涉及团队构成的表述是,一个“小而美,却充满创业精神极度好奇、追求真理”的年轻团队。此外,她认为在大模型的能力竞争中,算力和数据也并非最终的护城河,“而是科学的研究文化与方法,是将未知问题结合模型优势转化可用产品的能力”。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

此外,在大会上,小米集团合伙人、集团总裁卢伟冰披露了小米“人车家全生态”的最新进展:用户规模方面,小米全球月活跃用户数达到7.42亿;硬件生态方面,小米AIoT平台连接设备数达到10.4亿,硬件合作伙伴数量突破15000家;软件生态方面,小米全球开发者规模达到120万,国内应用生态每月应用分发量突破11亿。sw9速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-2-14585-0.html小米大模型负责人罗福莉首秀:算力和数据也并非最后的护城河

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

吉利李书福2024两会提案:支持汽车运动发展
2024年全国两会召开在即,全国政协委员、吉利控股集团董事长李书福提交《关于进一步支持汽车运动、促进汽车后市场高质量发展的提案》。当前背景  根据中国汽车工业协会统计,2023年,我国汽车产销突破3000万辆,其中新
聚焦两会|多位代表委员热议民营经济促进法立法:让民企吃下法治“定心丸”
21世纪经济报道 记者钟雨欣 郑雪 北京报道民营经济已经成为推动我国发展不可或缺的力量,成为创业就业的主要领域、技术创新的重要主体、国家税收的重要来源,在我国经济发展中发挥着重
专访毕马威中国咨询首席战略官蔡伟:5%左右的GDP增速目标具有挑战性,应聚焦“三驾马车”协同发展|解码政府工作报告
21世纪经济报道记者张梓桐 北京报道21世纪经济报道记者注意到,今年《政府工作报告》(以下简称《报告》)提到对2024年经济增长目标设定在5%左右,强调今年我国发展面临的环境仍是战略机遇
南财对话|全国政协委员周厚立:发挥“侨”优势,探索“香港+汕头”风电合作路径
南方财经全媒体记者梁施婷今年汕头提出“工商并举”的发展思路,谋求在新一轮经济发展中抢得先机。全国政协委员、广东省工商联常委、中怡国际控股有限公司主席周厚立对此在今年全国两
江西委员两会提案:优化高速免费通行政策
近日,全国两会期间,江西政协委员、江西省市场监督管理局副局长谭文英建议:将现行的部分法定节假日高速免费通行政策,调整为每辆车按年享受固定免费通行时长,让公众高速出行更加灵活自由。  谭文英说,部分法定节假日对
南财记者直击第二次部长通道 五位部长回应社会关切
21世纪经济报道记者 缴翼飞 北京报道3月8日,十四届全国人大二次会议第二场“部

热点精选

最新推荐

您可能感兴趣