過去十年，人工智能（AI）領(lǐng)域的創(chuàng)新似乎遵循著一條簡單公式：增加參數(shù)數(shù)量、擴大數(shù)據(jù)規(guī)模、提升算力水平。然而，隨著行業(yè)進入新的發(fā)展階段，這種模式是否還能持續(xù)引領(lǐng)進步，已成為學(xué)界和產(chǎn)業(yè)界共同關(guān)注的焦點。當"算力決定一切"的信念逐漸滲透到整個領(lǐng)域的研究文化中，學(xué)術(shù)界因資源匱乏被邊緣化、研究參與地域高度集中、資本投入導(dǎo)致發(fā)表傳統(tǒng)封閉化等問題日益凸顯。

前谷歌大腦研究員、Cohere前AI研究負責人Sara Hooker近期發(fā)表文章指出，深度神經(jīng)網(wǎng)絡(luò)領(lǐng)域持續(xù)擴展訓(xùn)練計算資源的效率正在急劇下降。當前模型訓(xùn)練中，大量資源被用于學(xué)習(xí)低頻特征的長尾部分，而所有跡象表明，這種投入已進入收益遞減階段。在模型規(guī)模增長速度放緩的背景下，如何讓模型從環(huán)境中有效學(xué)習(xí)并適應(yīng)新知識，成為比單純擴大規(guī)模更關(guān)鍵的問題。

一個值得關(guān)注的現(xiàn)象是，近年來多個領(lǐng)域出現(xiàn)小模型性能超越大型模型的案例。這種逆轉(zhuǎn)趨勢表明，模型規(guī)模與性能之間的關(guān)系正在發(fā)生根本性轉(zhuǎn)變。研究發(fā)現(xiàn)，訓(xùn)練后的模型可以刪除大量權(quán)重而不顯著影響性能，但若在訓(xùn)練初期就限制權(quán)重數(shù)量，則無法達到同等效果。這種矛盾現(xiàn)象反映出深度學(xué)習(xí)技術(shù)本身存在效率問題——或許存在更優(yōu)的學(xué)習(xí)方法，能夠擺脫對龐大網(wǎng)絡(luò)規(guī)模的依賴。

深度神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)效率方面存在顯著缺陷：它們能快速掌握常見特征，卻需要消耗大量算力來學(xué)習(xí)罕見特征。由于訓(xùn)練過程基于平均誤差最小化原則，低頻特征的信號在批量更新中被稀釋，導(dǎo)致現(xiàn)實世界中大量低頻屬性的學(xué)習(xí)變得異常困難。人類智能能夠高效處理這類長尾數(shù)據(jù)，而當前深度學(xué)習(xí)技術(shù)在這方面表現(xiàn)欠佳，大量計算資源被浪費在記憶長尾數(shù)據(jù)上。

數(shù)據(jù)質(zhì)量對計算資源依賴度的降低作用正在顯現(xiàn)。研究表明，通過去重、數(shù)據(jù)修剪和優(yōu)先級排序等手段改進訓(xùn)練語料庫，可以彌補模型規(guī)模的不足。這意味著可學(xué)習(xí)參數(shù)數(shù)量并非性能提升的絕對限制因素，提高數(shù)據(jù)質(zhì)量能夠減少對計算資源的需求。同時，指令微調(diào)、模型蒸餾、思維鏈推理、檢索增強生成等新型算法技術(shù)，正在通過優(yōu)化訓(xùn)練方式彌補計算量的不足，使相同資源能夠產(chǎn)生更顯著的效益。

模型架構(gòu)設(shè)計對可擴展性的影響不容忽視。新架構(gòu)的引入能夠從根本上改變計算量與性能之間的關(guān)系，使現(xiàn)有的擴展規(guī)律失去意義。當前流行的Scaling Law（擴展定律）雖然對預(yù)訓(xùn)練測試損失預(yù)測有一定價值，但在真實下游任務(wù)中的表現(xiàn)往往混亂且不一致。這種理論局限性的根源在于，它試圖用算力規(guī)模精確預(yù)測復(fù)雜系統(tǒng)的未來表現(xiàn)，而現(xiàn)實中的能力提升曲線常不符合冪律分布，不同領(lǐng)域的可靠性差異巨大。

行業(yè)正在經(jīng)歷方向性轉(zhuǎn)變：一方面，短期內(nèi)仍會繼續(xù)擴大模型規(guī)模以榨取現(xiàn)有架構(gòu)的剩余性能；另一方面，算力與性能的關(guān)系已變得難以預(yù)測，單純依賴算力的路徑正逐漸失去穩(wěn)定性。前沿實驗室開始將研究重心轉(zhuǎn)向優(yōu)化空間的根本性重塑，包括在推理階段投入更多計算資源、通過搜索和工具調(diào)用提升表現(xiàn)、利用合成數(shù)據(jù)塑造訓(xùn)練分布等新方向。這些方法大多不依賴梯度更新，徹底偏離了以訓(xùn)練為中心的傳統(tǒng)路徑。

智能系統(tǒng)的發(fā)展重心正在從"更強模型"轉(zhuǎn)向"更善互動的系統(tǒng)"。算法本身不再是唯一關(guān)鍵，交互方式、界面設(shè)計和多組件協(xié)同正在成為決定智能上限的重要因素。曾經(jīng)屬于人機交互領(lǐng)域的小眾問題，如今已上升為計算機科學(xué)研究的核心議題。這種轉(zhuǎn)變標志著AI發(fā)展進入新階段，需要同時優(yōu)化算法、數(shù)據(jù)和系統(tǒng)架構(gòu)等多個維度。

現(xiàn)有以Transformer為核心的架構(gòu)已顯現(xiàn)明顯的邊際收益遞減特征。隨著模型開始持續(xù)與世界互動，如何避免災(zāi)難性遺忘成為關(guān)鍵挑戰(zhàn)，而依賴全局參數(shù)更新的深度網(wǎng)絡(luò)在持續(xù)學(xué)習(xí)方面存在先天局限。越來越多的跡象表明，下一次真正的技術(shù)躍遷需要全新的架構(gòu)設(shè)計，能夠形成相對獨立、可專門化的知識區(qū)域，更接近人類大腦的學(xué)習(xí)方式。這種架構(gòu)革新將成為突破當前發(fā)展瓶頸的關(guān)鍵所在。