3月14日,，清華大學(xué)高性能計(jì)算研究所教授翟季冬團(tuán)隊(duì)與清華系科創(chuàng)企業(yè)清程極智聯(lián)合宣布，開(kāi)源大模型推理引擎“赤兔Chitu”,。據(jù)介紹,，該引擎首次實(shí)現(xiàn)在非英偉達(dá)Hopper架構(gòu)圖形處理器（GPU）及各類國(guó)產(chǎn)芯片上原生運(yùn)行FP8精度模型，為國(guó)產(chǎn)人工智能（AI）芯片的廣泛應(yīng)用和生態(tài)建設(shè)掃除了障礙,。
當(dāng)前,，F(xiàn)P8精度模型長(zhǎng)期依賴英偉達(dá)H系列高端GPU，這使得國(guó)內(nèi)企業(yè)在部署大模型時(shí)受到AI芯片的限制。為打破這一困境,，清華大學(xué)與清程極智聯(lián)合開(kāi)源的赤兔推理引擎通過(guò)底層技術(shù)革新,，首次實(shí)現(xiàn)了非H卡設(shè)備對(duì)原生FP8精度模型的高效部署，擺脫對(duì)特定硬件的依賴,，極大降低了企業(yè)部署AI模型的門(mén)檻和成本,。
翟季冬介紹說(shuō)，赤兔凝結(jié)了團(tuán)隊(duì)多年并行計(jì)算與編譯優(yōu)化技術(shù)的積累,，目標(biāo)是彌合先進(jìn)模型與多樣化硬件之間的差距,，讓國(guó)產(chǎn)算力真正“跑起來(lái)”。
“赤兔的定位是成為連接多元算力與大模型應(yīng)用的橋梁,。”清程極智CEO湯雄超表示,，“我們的引擎不僅支持英偉達(dá)全系列GPU,，還針對(duì)國(guó)產(chǎn)芯片深度優(yōu)化，未來(lái)將陸續(xù)開(kāi)源適配版本,?！?/p>
據(jù)悉，在首期開(kāi)源版本中,，赤兔引擎部署DeepSeek-R1-671B滿血版時(shí)相比部分國(guó)外開(kāi)源框架,，在GPU使用量減少50%的情況下推理速度仍有3.15倍提速。
另?yè)?jù)了解,，清程極智還推出了基于赤兔的“推理一體機(jī)”,，提供開(kāi)箱即用部署方案及專業(yè)運(yùn)維服務(wù)，進(jìn)一步簡(jiǎn)化企業(yè)AI落地流程,。
編輯：李華山
