來自中國的AI企業(yè)月之暗面旗下Kimi團(tuán)隊(duì)，憑借一項(xiàng)名為《Attention Residuals》（注意力殘差）的技術(shù)創(chuàng)新，在全球AI領(lǐng)域掀起新一輪討論熱潮。這項(xiàng)研究重新設(shè)計(jì)了深度學(xué)習(xí)領(lǐng)域沿用近十年的殘差連接結(jié)構(gòu)，被OpenAI前研究副總裁Jerry Tworek評(píng)價(jià)為"深度學(xué)習(xí)2.0的序章"，更引發(fā)特斯拉創(chuàng)始人馬斯克公開稱贊"令人印象深刻"。

傳統(tǒng)殘差連接機(jī)制自2015年ResNet論文提出以來，始終作為深度學(xué)習(xí)模型的"安全繩"存在。其核心邏輯是通過將每層輸出與輸入直接相加，確保信息在深層網(wǎng)絡(luò)中穩(wěn)定傳遞。但這種"無差別累加"方式存在明顯缺陷：當(dāng)模型層數(shù)超過百層時(shí)，早期層的關(guān)鍵信息會(huì)被后續(xù)層稀釋，迫使模型通過放大激活值維持訓(xùn)練穩(wěn)定性，最終導(dǎo)致計(jì)算效率下降和訓(xùn)練成本攀升。Kimi團(tuán)隊(duì)提出的注意力殘差方案，創(chuàng)新性地將固定加法替換為動(dòng)態(tài)注意力機(jī)制，使模型能夠自主判斷各層信息的價(jià)值權(quán)重，如同為AI裝上"智能過濾器"。

技術(shù)突破帶來的效能提升立竿見影。實(shí)驗(yàn)數(shù)據(jù)顯示，采用新架構(gòu)的480億參數(shù)模型訓(xùn)練效率提升1.25倍，在保持性能的同時(shí)顯著降低算力消耗。這種突破性進(jìn)展不僅獲得學(xué)術(shù)界認(rèn)可，更在商業(yè)領(lǐng)域引發(fā)連鎖反應(yīng)：Kimi K2.5開源模型同時(shí)成為全球最大AI編程平臺(tái)Cursor和獨(dú)立搜索服務(wù)商Perplexity的唯一中國合作方，與OpenAI、Anthropic等國際頂尖模型同臺(tái)競(jìng)技。海外API開放平臺(tái)日均訪問量在技術(shù)發(fā)布后激增10-20倍，個(gè)人訂閱支付訂單在兩個(gè)月內(nèi)暴漲83倍，商業(yè)化的跨越式發(fā)展印證了技術(shù)落地的可行性。

在英偉達(dá)GTC 2026全球開發(fā)者大會(huì)上，月之暗面創(chuàng)始人楊植麟以《How We Scaled Kimi K2.5》為題，系統(tǒng)闡釋了技術(shù)突破背后的戰(zhàn)略思考。他指出，當(dāng)前行業(yè)普遍使用的優(yōu)化器、注意力機(jī)制等底層技術(shù)，本質(zhì)上是八九年前的技術(shù)遺產(chǎn)，已逐漸成為智能上限突破的桎梏。Kimi團(tuán)隊(duì)通過重構(gòu)三大基石技術(shù)形成完整閉環(huán)：開發(fā)MuonClip優(yōu)化器解決傳統(tǒng)Adam在超大規(guī)模訓(xùn)練中的效率瓶頸；設(shè)計(jì)Kimi Linear混合線性注意力架構(gòu)，在超長上下文場(chǎng)景下實(shí)現(xiàn)5-6倍解碼速度提升；最終以注意力殘差方案完成對(duì)殘差連接的結(jié)構(gòu)性改造。

這種對(duì)技術(shù)范式的系統(tǒng)性重構(gòu)，正在重塑全球AI競(jìng)爭格局。Kimi團(tuán)隊(duì)提出的"智能體集群"概念，通過Orchestrator機(jī)制將復(fù)雜任務(wù)拆解為數(shù)十個(gè)子任務(wù)并行處理，預(yù)示著未來AI將從單體智能向群體智能演進(jìn)。資本市場(chǎng)的反應(yīng)更為直接：公司估值在三個(gè)月內(nèi)飆升至1200億元，融資規(guī)模超過多數(shù)大模型企業(yè)IPO募資額，創(chuàng)下行業(yè)新紀(jì)錄。當(dāng)行業(yè)還在爭論"中國版ChatGPT"時(shí)，Kimi已通過底層技術(shù)創(chuàng)新，在全球AI技術(shù)演進(jìn)中占據(jù)關(guān)鍵席位。

楊植麟在演講中特別強(qiáng)調(diào)研究范式的轉(zhuǎn)變。他指出，十年前受限于算力資源，研究者難以通過規(guī)模化實(shí)驗(yàn)驗(yàn)證理論假設(shè)，如今隨著"縮放階梯"的完善，AI研究正從經(jīng)驗(yàn)驅(qū)動(dòng)轉(zhuǎn)向工程驅(qū)動(dòng)。這種轉(zhuǎn)變使得Kimi團(tuán)隊(duì)能夠以嚴(yán)謹(jǐn)?shù)膶?shí)驗(yàn)方法，對(duì)沿用近十年的技術(shù)標(biāo)準(zhǔn)發(fā)起挑戰(zhàn)。從優(yōu)化器到注意力機(jī)制，再到殘差連接，每個(gè)技術(shù)節(jié)點(diǎn)的突破都指向同一個(gè)目標(biāo)：重新定義下一代模型架構(gòu)的技術(shù)標(biāo)準(zhǔn)。