在具身智能領域持續(xù)發(fā)力的京東，于近日舉辦了一場備受矚目的生態(tài)發(fā)布會，正式推出具身智能數(shù)據(jù)基礎設施全景圖，涵蓋“采、存、標、訓、評、仿、測”全流程，同時亮相了自研超高清采集終端JoyEgoCam、具身大模型JoyAI-RA以及具身智能數(shù)據(jù)交易平臺等創(chuàng)新成果。

當前，具身智能正加速向應用場景滲透，但高質(zhì)量、強可用性且源于真實場景交互的數(shù)據(jù)匱乏，成為制約其發(fā)展的關鍵因素。硬件標準不統(tǒng)一、數(shù)據(jù)采集流程分散，導致采集到的數(shù)據(jù)難以直接用于模型訓練。數(shù)據(jù)、硬件、算力和模型之間的協(xié)同問題，使得具身智能的實際應用效果受限，甚至被調(diào)侃“只能看機器人翻跟頭、轉手絹”。

京東憑借其在供應鏈領域的深厚積累，試圖通過搭建和使用相關基礎設施，打通從數(shù)據(jù)采集到模型測試的全流程閉環(huán)。京東希望將原始雜亂的數(shù)據(jù)轉化為驅動模型進化的高價值“數(shù)據(jù)燃料”，推動具身智能在零售、物流、工業(yè)、健康等場景實現(xiàn)規(guī)模化商業(yè)落地，構建屬于自己的“具身智能超級供應鏈”。

為實現(xiàn)這一目標，京東計劃發(fā)動大規(guī)模數(shù)據(jù)采集行動。未來兩年內(nèi)，將動員最多60萬人參與，積累1000萬小時人類真實場景視頻數(shù)據(jù)。參與人員包括超過10萬京東員工和50萬外部協(xié)作人員，涵蓋京東線下零售業(yè)態(tài)的店員、京東物流的快遞員、京東家政的保潔人員等。據(jù)了解，除提供采集設備外，京東現(xiàn)階段還會為這些采集人員提供一定報酬。

京東集團副總裁、京東云基礎云業(yè)務總經(jīng)理龔義成在發(fā)布會上指出，當前數(shù)據(jù)采集面臨諸多難點。首要問題是如何找到對具身模型有用、可定義且可規(guī)模化的數(shù)據(jù)，采集的數(shù)據(jù)維度至關重要。其次是大規(guī)模數(shù)據(jù)處理，這涉及較強的技術性和成本控制。還需考慮模型數(shù)據(jù)的飛輪效應，確保數(shù)據(jù)對模型有效。

此次發(fā)布的可穿戴式超高清采集終端JoyEgoCam成為一大亮點。該設備配備4K高清攝像頭，支持60幀幀率和130度超廣角拍攝，可毫秒級捕捉動作細節(jié)，重投影誤差小于0.2像素。整機重220克，內(nèi)置車規(guī)級6軸IMU與多傳感器融合單元，實現(xiàn)“即戴即采”，讓普通人也能完成專業(yè)級數(shù)據(jù)采集。未來，京東還將拓展手部、肢體乃至整個動態(tài)軌跡的數(shù)據(jù)采集。

采集后的數(shù)據(jù)進入上傳和加工階段。數(shù)據(jù)匯入AI數(shù)據(jù)湖平臺后，憑借PB級吞吐能力自動完成清洗、對齊、轉換與預標注，轉化為標準訓練集。JoyBuilder仿真平臺可批量生成高逼真仿真數(shù)據(jù)，實現(xiàn)人類操作數(shù)據(jù)、仿真操作數(shù)據(jù)和真機操作數(shù)據(jù)的高效增值轉換與泛化擴增。治理后的數(shù)據(jù)匯聚至JoyBuilder模型開發(fā)平臺，自研AI算子矩陣貫穿數(shù)據(jù)去畸變、語義描述、深度重建等環(huán)節(jié)。目前，京東日處理數(shù)據(jù)量達數(shù)十萬條，數(shù)據(jù)有效率達95%，整體處理成本降低60%。

模型與數(shù)據(jù)相互促進，模型反哺數(shù)據(jù)標注與采集，數(shù)據(jù)質(zhì)量越高，模型迭代效率與精度越高。以自采數(shù)據(jù)為核心訓練的京東具身大模型JoyAI-RA，在真機實驗上成功率達到73.5%。

同步上線的京東具身智能數(shù)據(jù)交易平臺，匯聚了京東業(yè)務場景下的多模態(tài)數(shù)據(jù)資源，支持數(shù)據(jù)方、開發(fā)者、應用方多方協(xié)同。平臺首批定向開放2000小時高精標注數(shù)據(jù)集，技術社區(qū)也即將上線，為具身智能領域的發(fā)展提供更多支持與便利。