當(dāng)全球AI行業(yè)陷入“參數(shù)規(guī)模競賽”與“應(yīng)用層同質(zhì)化”的雙重困局時，一家成立僅五年的中國AI公司——月之暗面（Moonlight AI），憑借對Transformer架構(gòu)核心機制的顛覆性改造，意外獲得科技界“風(fēng)向標(biāo)”埃隆·馬斯克的公開認(rèn)可。其旗下Kimi團隊在論文中提出的“動態(tài)注意力殘差連接”方案，直指深度學(xué)習(xí)領(lǐng)域長達十一年的技術(shù)禁區(qū)，為行業(yè)突破“模型效率瓶頸”提供了全新路徑。

Transformer架構(gòu)自2015年問世以來，其“注意力機制”與“殘差連接”構(gòu)成的雙重支柱，支撐起從BERT到GPT-4的歷代語言模型。但Kimi團隊研究發(fā)現(xiàn)，隨著模型參數(shù)規(guī)模突破萬億級，標(biāo)準(zhǔn)殘差連接的“加法操作”正導(dǎo)致深層特征被淺層特征系統(tǒng)性稀釋——這一現(xiàn)象被學(xué)術(shù)界稱為“PreNorm稀釋效應(yīng)”。團隊首席科學(xué)家張弛比喻道：“就像用清水稀釋墨汁，模型堆疊的層數(shù)越多，最終輸出的‘顏色’反而越淡，丟失了最關(guān)鍵的語義細節(jié)?！?/p>

面對這一困擾行業(yè)多年的難題，Kimi團隊提出用“動態(tài)注意力機制”重構(gòu)殘差連接邏輯。新方案不再簡單疊加各層特征，而是通過計算不同層級特征的注意力權(quán)重，實現(xiàn)“重要特征強化保留、冗余信息動態(tài)過濾”。為解決計算開銷問題，團隊創(chuàng)新性地采用“塊注意力”技術(shù)，將特征矩陣分塊處理，使內(nèi)存占用降低60%的同時保持模型精度。實驗數(shù)據(jù)顯示，在同等參數(shù)規(guī)模下，采用新架構(gòu)的模型推理速度提升30%，訓(xùn)練成本下降25%，在醫(yī)療文本分析、法律合同解讀等長文本場景中表現(xiàn)尤為突出。

這項突破之所以引發(fā)震動，在于其觸及了AI基礎(chǔ)架構(gòu)的“不可動搖部分”。自2017年OpenAI首次將殘差連接引入語言模型以來，谷歌、meta等巨頭雖嘗試過調(diào)整連接位置或添加權(quán)重參數(shù)，但始終未敢改變“加法操作”這一底層設(shè)計。Kimi團隊的數(shù)學(xué)證明顯示，現(xiàn)有主流殘差變體（包括PreNorm、PostNorm）均是其方案在“注意力權(quán)重均勻分布”時的特例，這意味著他們?yōu)門ransformer架構(gòu)提供了更普適的理論框架。

在商業(yè)層面，月之暗面的崛起軌跡同樣引發(fā)關(guān)注。這家2021年成立的公司，在2023年推出Kimi大模型時曾被質(zhì)疑“模仿ChatGPT”，但通過聚焦企業(yè)級市場，迅速積累起字節(jié)跳動、寧德時代等5000余家客戶。2025年完成D輪融資后，其估值突破300億元人民幣，紅杉中國、高瓴資本等頂級機構(gòu)的持續(xù)加注，為其基礎(chǔ)研究提供了充足彈藥。公司CTO在內(nèi)部信中透露：“我們每年將40%的營收投入底層技術(shù)研發(fā)，這個比例在行業(yè)中屬于絕對少數(shù)?！?/p>

馬斯克的罕見認(rèn)可，為這場爭論增添了新的維度。這位以“技術(shù)潔癖”著稱的科技領(lǐng)袖，此前曾多次批評行業(yè)巨頭“沉迷于規(guī)模競賽”，此次卻用“Interesting approach”評價Kimi的方案?？萍挤治鰩烝vi Chawla指出：“這標(biāo)志著中國AI公司首次在深度學(xué)習(xí)‘根技術(shù)’層面獲得國際認(rèn)可，其意義不亞于華為5G對通信行業(yè)的沖擊。”

目前，Kimi團隊已將新架構(gòu)開源，并推出適配不同場景的變體版本。盡管有研究員提醒“基礎(chǔ)創(chuàng)新需要長期驗證”，但不可否認(rèn)的是，當(dāng)行業(yè)集體陷入“堆參數(shù)、卷應(yīng)用”的循環(huán)時，這種直面技術(shù)本質(zhì)的探索，正在為AI發(fā)展開辟新的可能性。正如張弛所言：“我們不是在推倒重來，而是為這座已經(jīng)運行十年的‘超級機器’更換更精密的齒輪——這或許比建造新機器更難，但值得嘗試?！?/p>