MiniMax攻克关键技术开源新架构，传统Transformer架构不再是唯一选择
日月开新元，万象启新篇。
1月15日，MiniMax发布并开源新一代01系列模型，包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型MiniMax-VL-01。该系列模型使用多项突破性创新，以大规模应用线性注意力机制打破Transformer传统架构记忆瓶颈，在综合性能比肩GPT-4o、Claude-3.5等海外领军模型的基础上，能够高效处理高达400万token的输入，可输入长度是GPT-4o的32倍，Claude-3.5-Sonnet的20倍。
目前，MiniMax-01系列开源模型已应用于MiniMax旗下产品海螺AI并在全球上线，企业与个人开发者可前往MiniMax开放平台使用API。
以架构创新实现高效超长文本输入
2017年，具有里程碑意义的论文《Attention Is All You Need》正式发表，Transformer架构问世并逐步发展成为该领域的主流技术范式。自2023年起，自然语言处理领域迎来了一股创新浪潮，对模型架构的创新需求日益增加。
MiniMax-01系列模型首次将线性注意力机制扩展到商用模型的级别，并使其综合能力达到全球第一梯队。而受益于此次架构创新，该系列模型在处理长输入的时候具有非常高的效率，接近线性复杂度。从Scaling Law、与MoE的结合、结构设计、训练优化和推理优化等层面综合考虑，MiniMax选择模型参数量为4560亿，其中每次激活459亿，能够高效处理高达400万token的上下文，将有效替代Transformer传统架构并开启超长文本输入时代。
MiniMax-01模型发布后，在国内外迅速掀起了热议浪潮。海外媒体与AI从业者聚焦该模型，深入探讨其技术内涵与潜在价值，对其所展现出的创新性给予了高度肯定。
性能比肩国际领军模型
在应用创新架构之外，MiniMax大规模重构了01系列模型的训练和推理系统，包括更高效的MoE All-to-all通讯优化、更长的序列的优化，以及推线性注意力层的高效Kernel实现，使得模型能力可与全球顶级闭源模型相媲美。
在业界主流的文本和多模态理解任务处理表现上，MiniMax-01系列模型大多情况下可以追平海外公认最先进的两个模型，GPT-4o-1120以及Claude-3.5-sonnet-1022。过往的模型能力评测中，Google的自研模型Gemini有着显著的长文优势。而在01系列模型参评的长文任务下，相较于Gemini等一众全球顶级模型，MiniMax-01随着输入长度变长，性能衰减最慢，效果及其出众。
▲ 多项任务评测结果显示，MiniMax-01系列模型核心性能稳居全球第一梯队。（图源MiniMax-01系列模型技术报告）
▲ MiniMax-01系列模型长上下文处理能力全球领先。（图源MiniMax-01系列模型技术报告）
加速AI Agent时代到来
2025年，AI将迎来至关重要的发展节点，AI Agent有望成为新一年最重要的产品形态，引领AI从传统的“工具”角色向更具互动性与协作性的“伙伴”角色转变。AI Agent时代，由于智能体处理的任务变得越来越复杂，涉及的数据量也越来越大，单个智能体的记忆以及多个智能体协作间的上下文都会变得越来越长。因此，长上下文能力与多模态处理能力的提升，是AI Agent为各行业带来更为丰富、高效、智能的解决方案的必要条件。
MiniMax在Github上开源了Text-01模型、VL-01模型的完整权重，以便于更多开发者做有价值、突破性的研究。MiniMax表示，“我们认为这有可能启发更多长上下文的研究和应用，从而更快促进Agent时代的到来，二是开源也能促使我们努力做更多创新，更高质量地开展后续的模型研发工作。”
凭借开放、共享、协作的特点，开源模型激发AI产业的创新活力，正在成为赋能新质生产力发展的关键引擎。受益于Linear Attention层面的架构创新、算力层面的优化，以及集群上的训推一体的设计，MiniMax以业内极具性价比的价格提供文本模型和多模态理解模型的API服务，标准定价是输入token 1元/百万token，输出token 8元/百万token。
论文链接：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf
