在近期大模型行業(yè)遭遇信任危機(jī)的背景下，國(guó)內(nèi)多家大模型創(chuàng)業(yè)公司遭遇了不同程度的質(zhì)疑，其中零一萬(wàn)物更是被傳言放棄了預(yù)訓(xùn)練。對(duì)此，零一萬(wàn)物創(chuàng)始人兼CEO李開(kāi)復(fù)在微信朋友圈進(jìn)行辟謠，強(qiáng)調(diào)公司一直在進(jìn)行預(yù)訓(xùn)練，并計(jì)劃通過(guò)推出新的預(yù)訓(xùn)練模型來(lái)證明這一點(diǎn)。

10月16日，零一萬(wàn)物正式發(fā)布了其最新的旗艦?zāi)Ｐ蚘i-Lightning，旨在挑戰(zhàn)大模型的更高性能。在LMSYS盲測(cè)競(jìng)技場(chǎng)總榜上，Yi-Lightning取得了顯著成績(jī)，位列第六，僅次于OpenAI的GPT-4o、o1系列以及Google的Gemini 1.5 pro系列，與馬斯克xAI旗下的Grok-2持平，這是中國(guó)大模型廠商在該榜單上取得的最好成績(jī)。

零一萬(wàn)物特別強(qiáng)調(diào)了Yi-Lightning在推理速度上的提升。據(jù)其內(nèi)部評(píng)測(cè)數(shù)據(jù)，在8xH100算力基礎(chǔ)下，Yi-Lightning的首包時(shí)間相比Yi-Large減少了一半，最高生成速度提升了近四成。這一提升得益于團(tuán)隊(duì)在AI Infra層的投入以及模型架構(gòu)從Dense Model改為MoE架構(gòu)。

為了平衡MoE架構(gòu)中的激活參數(shù)規(guī)模與推理速度及成本，零一萬(wàn)物在Yi-Lightning的架構(gòu)中引入了混合注意力機(jī)制、動(dòng)態(tài)ToP路由以及多階段訓(xùn)練等三種技術(shù)思路。這些技術(shù)旨在優(yōu)化模型在處理長(zhǎng)序列數(shù)據(jù)時(shí)的性能和計(jì)算資源消耗，靈活調(diào)整激活的專(zhuān)家網(wǎng)絡(luò)數(shù)量，以及有針對(duì)性地進(jìn)行強(qiáng)化訓(xùn)練。

Yi-Lightning的定價(jià)為0.99元/百萬(wàn)tokens，李開(kāi)復(fù)表示這是一個(gè)具有理想利潤(rùn)空間的定價(jià)。同時(shí)，零一萬(wàn)物還發(fā)布了針對(duì)零售和電商等場(chǎng)景的行業(yè)應(yīng)用產(chǎn)品AI 2.0數(shù)字人，并已接入Yi-Lightning。這一數(shù)字人產(chǎn)品在沒(méi)有大模型專(zhuān)家或系統(tǒng)集成商幫助的情況下，具備一定IT能力的客戶可以相對(duì)高效地完成部署。

零一萬(wàn)物已形成了鮮明的海內(nèi)外商業(yè)布局。其ToC業(yè)務(wù)選擇在國(guó)外市場(chǎng)，因?yàn)橛脩舫杀靖汀⒆儸F(xiàn)能力更高。而ToB業(yè)務(wù)則以國(guó)內(nèi)市場(chǎng)為主，李開(kāi)復(fù)表示，這類(lèi)業(yè)務(wù)在海外對(duì)供應(yīng)商本土化要求高，并不適合現(xiàn)階段的零一萬(wàn)物。在國(guó)內(nèi)ToB業(yè)務(wù)產(chǎn)品矩陣上，除了已經(jīng)發(fā)布的AI 2.0數(shù)字人、API之外，零一萬(wàn)物還計(jì)劃近期發(fā)布AI Infra解決方案、私有化定制模型等其他業(yè)務(wù)。

對(duì)于“大模型行業(yè)將逐步放棄預(yù)訓(xùn)練”的業(yè)界推測(cè)，李開(kāi)復(fù)表示，做預(yù)訓(xùn)練通用大模型是一個(gè)系統(tǒng)性技術(shù)活，需要眾多懂芯片、模型、推理、架構(gòu)、算法的人才，且成本非常高。他認(rèn)為，以后可能會(huì)有越來(lái)越少的大模型公司做預(yù)訓(xùn)練，但“六小虎”均有足夠的融資額度來(lái)支付預(yù)訓(xùn)練模型的投產(chǎn)運(yùn)行成本。

面對(duì)通用大模型的下一技術(shù)進(jìn)程，李開(kāi)復(fù)預(yù)計(jì)五個(gè)月后就會(huì)有不少類(lèi)似OpenAI o1模型的能力出現(xiàn)在各個(gè)公司，包括零一萬(wàn)物。他透露，OpenAI目前仍對(duì)一些先進(jìn)技術(shù)有所保留，不急于公布。對(duì)于縮短中美大模型差距的技術(shù)時(shí)間差，李開(kāi)復(fù)認(rèn)為國(guó)內(nèi)公司憑借數(shù)據(jù)處理、訓(xùn)推優(yōu)化等方法論已經(jīng)有相對(duì)成熟的打法，能保持六個(gè)月左右的追趕周期已經(jīng)是很好的結(jié)果。