解决传统架构记忆瓶颈 MiniMax发布新一代模型

新京报
203次浏览

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。ddd速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。ddd速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。ddd速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”ddd速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

1月15日,“AI六小虎”之一的MiniMax发布并开源了新一代01系列模型,包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新,以大规模应用线性注意力机制打破了Transformer传统架构的记忆瓶颈。ddd速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

未来,AI智能体有望成为最重要的产品形态,由于智能体处理的任务变得越来越复杂,涉及的数据量也越来越大,单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此,长上下文能力与多模态处理能力的提升至关重要。ddd速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

技术上,MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别,受益于此次架构创新,该系列模型在处理长输入的时候具有非常高的效率,接近线性复杂度。从规模效应、结构设计、训练优化和推理优化等层面综合考虑,MiniMax选择模型参数量为4560亿,其中每次激活459亿,能够高效处理400万token的上下文,将有效替代Transformer传统架构并开启超长文本输入时代。相较于Gemini等一众全球顶级模型,MiniMax-01随着输入长度变长,性能衰减最慢。ddd速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

值得注意的是,MiniMax还开源了Text-01模型、VL-01模型的完整权重,以便于更多开发者做有价值、突破性的研究。MiniMax方面表示,“我们认为这有可能启发更多长上下文的研究和应用,从而更快促进Agent时代的到来,二是开源也能促使我们努力做更多创新,更高质量地开展后续的模型研发工作。”ddd速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-2-10161-0.html解决传统架构记忆瓶颈 MiniMax发布新一代模型

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

蔚来 150 度电池包将于二季度上线,可提供 1055 公里超长续航
3 月 5 日消息,今日,伴随着财报的发布,蔚来宣布 150 度超长续航电池包即将在二季度上线。蔚来表示,作为国内乘用车量产最大容量的电池包,搭载该电池包的蔚来车型拥有最长 1,055 公里的续航里程。此前,蔚来 CEO 李斌
专访全国政协委员陆铭:强化线上赋能与线下空间体验,增强消费城市内驱力
21世纪经济报道记者张梓桐 李玉敏北京报道3月5日,第十四届全国人民代表大会第二次会议开幕,国务院总理李强作政府工作报告。21世纪经济报道记者注意到,在政府工作报告中,“区域协调发展
408率先搭载 神龙第四代360THP发动机下线
3月7日,神龙汽车宣布其第四代360THP发动机在襄阳工厂正式量产下线。这款车全新的1.5T发动机将首先搭载于新款标致408龘龘款上,后者将于3月18日正式上市。  官方表示,这款全新1.5T发动机是神龙汽车与STELLANTIS集团
专访全国人大代表、宜昌市市长马泽江:打造“电化长江”示范区,构筑长江经济带中上游新增长极
21世纪经济报道记者吴文汐 北京报道 “三峡门户”宜昌地处长江经济带重要节点,是湖北省域副中心城市,也是长江中游城市群中的重要成员。2023年,宜昌实现经济增速7.1%,居湖北全省前列;经
“新能源汽车第一城”再易主,深圳大幅超车,还有这些城市在踩油门
  “新能源汽车第一城”再易主,深圳大幅超车,还有这些城市在踩油门  2023年各地新能源汽车产量陆续公布,深圳首次登上全国第一的宝座,上海、西安分列二三位。  由此,最近三年的“新能源汽车第一城”三度易主,2021年、
东风汽车涨停!三家中央汽车企业新能源汽车业务将会单独考核
  东风汽车涨停!三家中央汽车企业新能源汽车业务将会单独考核  在利好消息的影响下,A股汽车板块3月5日午前和尾盘出现反复活跃。  3月5日上午,第十四届全国人民代表大会第二次会议在人民大会堂举行开幕会。开幕会

热点精选

最新推荐

您可能感兴趣