小米進(jìn)軍大模型，最擅長(zhǎng)“以小博大”。

4月30日，小米宣布開(kāi)源首個(gè)為推理而生的大模型Xiaomi MiMo。值得注意的是，其經(jīng)過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練形成的MiMo-7B-RL模型，用僅僅70億的參數(shù)，在多項(xiàng)權(quán)威基準(zhǔn)測(cè)試中得分超過(guò)了OpenAI的閉源推理模型o1-mini 和阿里通義千問(wèn)320億參數(shù)的QwQ-32B-Preview，實(shí)現(xiàn)了“以小博大”。

受此消息影響，今日小米股價(jià)漲5.37%，金山云和金山軟件更是分別大漲14.20%和7.07%。業(yè)內(nèi)人士認(rèn)為，小米作為國(guó)產(chǎn)頭部的手機(jī)品牌廠商，此次開(kāi)源的小參數(shù)規(guī)模模型展現(xiàn)了較強(qiáng)的性能，為AI在手機(jī)端側(cè)的應(yīng)用和運(yùn)行提供了更堅(jiān)實(shí)的模型基礎(chǔ)。

小米開(kāi)源MiMo推理大模型

4月30日，小米宣布開(kāi)源首個(gè)為推理而生的大模型Xiaomi MiMo。據(jù)介紹，在數(shù)學(xué)推理（AIME 24-25）和代碼競(jìng)賽（LiveCodeBench v5）公開(kāi)測(cè)評(píng)集上，MiMo僅用7B的參數(shù)規(guī)模，超越了OpenAI的閉源推理模型o1-mini和阿里Qwen更大規(guī)模的開(kāi)源推理模型 QwQ-32B-Preview。

以70億的小規(guī)模參數(shù)，實(shí)現(xiàn)了卓越的性能，MiMo展現(xiàn)了小米“以小博大”的能力。據(jù)悉，這一成績(jī)的取得，主要源于團(tuán)隊(duì)在預(yù)訓(xùn)練和后訓(xùn)練的數(shù)據(jù)和算法方面進(jìn)行了多層組合創(chuàng)新努力。預(yù)訓(xùn)練是讓模型領(lǐng)略更多的推理模型，而后訓(xùn)練則是打磨高效穩(wěn)定的強(qiáng)化學(xué)習(xí)算法及框架。

具體來(lái)看，MiMo背后包含了許多技術(shù)細(xì)節(jié)，包括使用改進(jìn)的組相對(duì)策略優(yōu)化（GRPO）算法進(jìn)行訓(xùn)練，移除KL（Kullback-Leibler散度）損失、動(dòng)態(tài)采樣和增加上界裁剪等策略；提出測(cè)試難度驅(qū)動(dòng)的獎(jiǎng)勵(lì)機(jī)制，將測(cè)試用例按難度分組，并根據(jù)難度分配獎(jiǎng)勵(lì)；采用易數(shù)據(jù)過(guò)濾和重采樣策略，提高采樣效率并穩(wěn)定策略更新等等。

小米大模型團(tuán)隊(duì)也已公開(kāi)了MiMo的技術(shù)報(bào)告，展現(xiàn)了相關(guān)的技術(shù)細(xì)節(jié)。此外，MiMo-7B全系列已開(kāi)源，包括預(yù)訓(xùn)練模型MiMo-7B-Base，監(jiān)督微調(diào)模型MiMo-7B-SFT以及強(qiáng)化學(xué)習(xí)模型MiMo-7B-RL和MiMo-7B-RL-Zero。

小米大模型團(tuán)隊(duì)表示，MiMo來(lái)自于全新成立不久的“小米大模型Core團(tuán)隊(duì)”的初步嘗試。業(yè)內(nèi)人士普遍認(rèn)為，MiMo的開(kāi)源標(biāo)志著AI發(fā)展從盲目追求參數(shù)規(guī)模轉(zhuǎn)向注重算法效率和能力密度的理性發(fā)展期，通過(guò)技術(shù)創(chuàng)新，小模型同樣可以實(shí)現(xiàn)高效率、大智慧，帶來(lái)“性價(jià)比革命”。

小米全面發(fā)力AI大模型

隨著MiMo模型的開(kāi)源，小米剛剛成立不久的小米大模型Core團(tuán)隊(duì)也終于浮出水面。小米創(chuàng)始人雷軍曾在2023年表示，自2016年組建AI團(tuán)隊(duì)以來(lái)，到2023年4月第一時(shí)間成立專職大模型團(tuán)隊(duì)，經(jīng)過(guò)多次擴(kuò)展，小米AI團(tuán)隊(duì)相關(guān)人員規(guī)模已達(dá)3000多人，逐步建立了視覺(jué)、語(yǔ)音、聲學(xué)、知識(shí)圖譜、NLP、機(jī)器學(xué)習(xí)、多模態(tài)等AI技術(shù)能力。

小米大力“押寶”大模型早在去年底便已有消息傳出。DeepSeek-V3爆火之后，背后的AI“天才少女”羅福莉引發(fā)了大眾的關(guān)注，彼時(shí)就有媒體報(bào)道稱，雷軍以千萬(wàn)年薪招攬DeepSeek開(kāi)源大模型DeepSeek-V2的關(guān)鍵開(kāi)發(fā)者之一羅福莉，領(lǐng)導(dǎo)小米AI大模型團(tuán)隊(duì)。

此外，小米也搭建了自己的GPU萬(wàn)卡集群，并持續(xù)提升算力儲(chǔ)備，為大模型研發(fā)提供更充分的算力供給。今年3月，小米發(fā)布2024年報(bào)，明確2025年將投入70億元以上資金用于AI研發(fā)，約占總研發(fā)經(jīng)費(fèi)的1/4，重點(diǎn)聚焦AI基礎(chǔ)設(shè)施、大模型開(kāi)發(fā)及應(yīng)用場(chǎng)景搭建。

從招兵買馬到“補(bǔ)充彈藥”，小米全面發(fā)力AI大模型，將AI視為下一個(gè)“新戰(zhàn)場(chǎng)”。值得注意的是，與其他大模型廠商追求高性能、大參數(shù)不同，小米大模型主攻輕量化、本地部署，也是業(yè)界第一個(gè)在手機(jī)芯片上跑通十億參數(shù)規(guī)模大語(yǔ)言模型，驗(yàn)證了端側(cè)小模型在部分目標(biāo)場(chǎng)景可以取得媲美云端大模型效果。

雷軍曾表示，“小米擁有品類眾多的設(shè)備，是全球規(guī)模領(lǐng)先的消費(fèi)級(jí)物聯(lián)網(wǎng)平臺(tái)。設(shè)備多樣，使用場(chǎng)景也各不相同，一個(gè)大模型難以兼顧。如果把一部分大模型能力下放到端側(cè)，不僅能更好地保護(hù)用戶隱私、而且有機(jī)會(huì)在本地實(shí)現(xiàn)千人千面的個(gè)性化定制。”因此，在訓(xùn)練策略上，小米一直致力于減少參數(shù)的浪費(fèi)，達(dá)到效率和效果的最佳均衡。

同時(shí)，小米發(fā)力AI，致力于將大模型與自身業(yè)務(wù)深度協(xié)同，圍繞硬件生態(tài)做深場(chǎng)景，讓AI真正服務(wù)于產(chǎn)品。目前，小米的AI技術(shù)能力已逐步接入手機(jī)、汽車、AIoT、機(jī)器人等業(yè)務(wù)板塊，端側(cè)賦能加速。業(yè)內(nèi)人士認(rèn)為，小米作為國(guó)產(chǎn)頭部的手機(jī)品牌廠商，此次開(kāi)源的小參數(shù)規(guī)模模型展現(xiàn)了較強(qiáng)的性能，為AI在手機(jī)端側(cè)的應(yīng)用和運(yùn)行提供了更堅(jiān)實(shí)的模型基礎(chǔ)。

中信建投研報(bào)表示，大模型能力不斷迭代增長(zhǎng)，但模型之間差異在縮小。這些技術(shù)需要在終端設(shè)備上應(yīng)用落地，最終通過(guò)這些應(yīng)用/終端實(shí)現(xiàn)商業(yè)價(jià)值的轉(zhuǎn)化，從而形成一個(gè)從投資到變現(xiàn)的完整閉環(huán)。目前，Meta、字節(jié)、小米等巨頭已經(jīng)開(kāi)始大力布局端側(cè)AI，搶奪AI Agent入口。除了手機(jī)、PC、眼鏡、耳機(jī)外，潛在的端側(cè)AI基數(shù)巨大，家電、機(jī)器人、智能車、教育辦公設(shè)備、玩具等都受益于端側(cè)AI的趨勢(shì)，AI嵌入將帶來(lái)廣泛的硬件升級(jí)。重點(diǎn)關(guān)注算力、存儲(chǔ)、連接、電力等硬件環(huán)節(jié)。

責(zé)編：萬(wàn)健祎

校對(duì)：廖勝超