AI导读:

小米宣布开源首个为推理而生的大模型Xiaomi MiMo,仅用70亿参数在多项测试中超越大规模模型,股价受此影响上涨。小米全面发力AI大模型,致力于将大模型与自身业务深度协同,为AI在手机端侧的应用和运行提供坚实模型基础。

  小米进军大模型领域,展现出了其“以小博大”的独特优势。

  4月30日,小米正式开源了首个专为推理设计的大模型Xiaomi MiMo。值得注意的是,其MiMo-7B-RL模型仅通过70亿参数,在多项权威基准测试中便超越了OpenAI的闭源推理模型o1-mini和阿里通义千问320亿参数的QwQ-32B-Preview,实现了“以小博大”的壮举。

  受这一消息影响,小米股价当日上涨5.37%,金山云和金山软件股价也分别大涨14.20%和7.07%。业内人士分析,小米作为国产手机品牌头部厂商,此次开源的小参数规模模型性能卓越,为AI在手机端侧的应用和运行提供了坚实的模型基础。

  小米开源MiMo推理大模型

  4月30日,小米正式对外宣布开源首个专为推理而生的大模型Xiaomi MiMo。据官方介绍,在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)的公开测评中,MiMo仅凭7B的参数规模,便超越了OpenAI的o1-mini和阿里Qwen更大规模的QwQ-32B-Preview模型。

  凭借70亿的小规模参数,MiMo实现了卓越的性能,充分展现了小米“以小博大”的实力。这一成绩的取得,主要得益于小米团队在预训练和后训练的数据和算法方面进行了多层组合创新。预训练阶段,模型领略了更多推理知识;而后训练阶段,则通过打磨高效稳定的强化学习算法及框架,进一步提升了性能。

  MiMo背后包含诸多技术细节,如使用改进的组相对策略优化(GRPO)算法进行训练,移除KL损失、动态采样和增加上界裁剪等策略;同时,还提出了测试难度驱动的奖励机制,以及易数据过滤和重采样策略等,以提高采样效率并稳定策略更新。

  小米大模型团队已公开MiMo的技术报告,并开源了MiMo-7B全系列模型,包括预训练模型MiMo-7B-Base、监督微调模型MiMo-7B-SFT以及强化学习模型MiMo-7B-RL和MiMo-7B-RL-Zero。

  小米大模型团队表示,MiMo是全新成立不久的“小米大模型Core团队”的初步尝试。业内人士认为,MiMo的开源标志着AI发展已从盲目追求参数规模转向注重算法效率和能力密度的理性发展期。通过技术创新,小模型同样可以实现高效率、大智慧,带来“性价比革命”。

  小米全面发力AI大模型

  随着MiMo模型的开源,小米刚刚成立不久的小米大模型Core团队也终于浮出水面。小米创始人雷军曾表示,自2016年组建AI团队以来,小米已逐步建立了视觉、语音、声学、知识图谱、NLP、机器学习、多模态等AI技术能力。到2023年4月,小米成立了专职大模型团队,经过多次扩展,AI团队规模已达3000多人。

  小米早在去年底便传出将大力布局大模型的消息。据报道,雷军以千万年薪招揽了Deepseek开源大模型DeepSeek-V2的关键开发者之一罗福莉,领导小米AI大模型团队。此外,小米还搭建了自己的GPU万卡集群,并持续提升算力储备,为大模型研发提供更充分的算力支持。

  今年3月,小米发布2024年报,明确表示2025年将投入70亿元以上资金用于AI研发,约占总研发经费的1/4。这些资金将重点聚焦AI基础设施、大模型开发及应用场景搭建。

  小米在AI领域全面发力,将AI视为下一个“新战场”。与其他大模型厂商不同,小米大模型主攻轻量化、本地部署,并在业界首次在手机芯片上跑通了十亿参数规模的大语言模型,验证了端侧小模型在部分目标场景可以取得媲美云端大模型的效果。

  雷军表示,小米拥有品类众多的设备,是全球领先的消费级物联网平台。设备多样,使用场景各异,一个大模型难以兼顾。因此,小米致力于将部分大模型能力下放到端侧,以更好地保护用户隐私,并实现千人千面的个性化定制。在训练策略上,小米一直致力于减少参数的浪费,达到效率和效果的最佳均衡。

  同时,小米发力AI,致力于将大模型与自身业务深度协同,围绕硬件生态做深场景,让AI真正服务于产品。目前,小米的AI技术能力已逐步接入手机、汽车、AIoT、机器人等业务板块,端侧赋能加速。业内人士认为,小米此次开源的小参数规模模型展现了较强的性能,为AI在手机端侧的应用和运行提供了更坚实的模型基础。

  中信建投研报指出,大模型能力不断迭代增长,但模型之间的差异在缩小。这些技术需要在终端设备上应用落地,最终实现商业价值的转化。目前,Meta、字节、小米等巨头已开始大力布局端侧AI,抢夺AI Agent入口。除了手机、PC、眼镜、耳机外,潜在的端侧AI设备基数巨大,包括家电、机器人、智能车、教育办公设备、玩具等都将受益于端侧AI的趋势。AI嵌入将带来广泛的硬件升级,建议重点关注算力、存储、连接、电力等硬件环节。

(文章来源:证券时报网)