3月14日，清華大學高性能計算研究所教授翟季冬團隊與清華系科創(chuàng)企業(yè)清程極智聯(lián)合宣布，開源大模型推理引擎“赤兔Chitu”。據(jù)介紹，該引擎首次實現(xiàn)在非英偉達Hopper架構(gòu)圖形處理器（GPU）及各類國產(chǎn)芯片上原生運行FP8精度模型，為國產(chǎn)人工智能（AI）芯片的廣泛應用和生態(tài)建設(shè)掃除了障礙。
當前，F(xiàn)P8精度模型長期依賴英偉達H系列高端GPU，這使得國內(nèi)企業(yè)在部署大模型時受到AI芯片的限制。為打破這一困境，清華大學與清程極智聯(lián)合開源的赤兔推理引擎通過底層技術(shù)革新，首次實現(xiàn)了非H卡設(shè)備對原生FP8精度模型的高效部署，擺脫對特定硬件的依賴，極大降低了企業(yè)部署AI模型的門檻和成本。
翟季冬介紹說，赤兔凝結(jié)了團隊多年并行計算與編譯優(yōu)化技術(shù)的積累，目標是彌合先進模型與多樣化硬件之間的差距，讓國產(chǎn)算力真正“跑起來”。
“赤兔的定位是成為連接多元算力與大模型應用的橋梁。”清程極智CEO湯雄超表示，“我們的引擎不僅支持英偉達全系列GPU，還針對國產(chǎn)芯片深度優(yōu)化，未來將陸續(xù)開源適配版本。”
據(jù)悉，在首期開源版本中，赤兔引擎部署DeepSeek-R1-671B滿血版時相比部分國外開源框架，在GPU使用量減少50%的情況下推理速度仍有3.15倍提速。
另據(jù)了解，清程極智還推出了基于赤兔的“推理一體機”，提供開箱即用部署方案及專業(yè)運維服務(wù)，進一步簡化企業(yè)AI落地流程。
編輯：李華山
