小米大模型团队在“Xiaomi MiMo”公众号上宣布了一项重大进展：4月30日，他们正式开源了首个专为推理设计的大模型——Xiaomi MiMo。这一举措标志着小米在AI领域迈出了坚实的一步，旨在通过联动预训练与后训练，全面提升模型的推理能力。
MiMo是小米大模型Core团队这一新兴力量的初步探索成果。该团队致力于推动AI技术的创新与应用，而MiMo正是他们交出的第一份答卷。
在公开测评中，MiMo的表现令人瞩目。在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）两大领域，MiMo仅凭7B的参数规模，便超越了OpenAI的闭源推理模型o1-mini以及阿里更大规模的开源推理模型QwQ-32B-Preview。这一成绩无疑是对小米大模型团队实力的有力证明。
小米官方透露，MiMo推理能力的提升得益于预训练和后训练阶段中数据与算法等多层面的创新。在预训练阶段，团队注重让模型接触更多推理模式，以拓宽其视野。在数据层面，他们深入挖掘富含推理元素的语料，并合成了约200B tokens的推理数据，为模型提供了丰富的训练素材。训练过程则分为三个阶段，逐步提升难度，总共训练了25T tokens，确保了模型的扎实基础。
在后训练阶段，小米团队引入了高效稳定的强化学习算法和框架。他们提出了Test Difficulty Driven Reward策略，以缓解困难算法问题中的奖励稀疏问题，并引入了Easy Data Re-Sampling策略，以稳定强化学习训练过程。他们还设计了Seamless Rollout系统，使得强化学习训练加速2.29倍，验证加速1.96倍，大大提高了训练效率。
对于广大开发者和技术爱好者而言，这无疑是一个振奋人心的消息。小米开源MiMo大模型，不仅为他们提供了一个强大的推理工具，更为他们探索AI技术的无限可能提供了宝贵的资源。目前，MiMo大模型已可在Hugging Face平台上获取，技术报告也已在GitHub上公开，供感兴趣的人士深入研究和应用。
在小米大模型团队的持续努力下，我们有理由相信，未来将有更多创新性的AI技术和产品涌现，为人们的生活和工作带来更多便利和惊喜。让我们共同期待小米在AI领域的更多精彩表现吧！