我國人工智能基礎(chǔ)設(shè)施企業(yè)清程極智聯(lián)合清華大學(xué)翟季冬團(tuán)隊(duì)14日開源我國自研大模型推理引擎——“赤兔”（Chitu），首次實(shí)現(xiàn)國產(chǎn)AI芯片對新一代FP8模型（8位浮點(diǎn)數(shù)）的原生支持,，為構(gòu)建自主可控的國產(chǎn)AI算力生態(tài)提供了又一支撐,。
隨著DeepSeek引燃市場對大模型私有化部署的熱情，模型部署的效率與成本成為企業(yè)AI落地的關(guān)鍵,。當(dāng)前,，以FP8數(shù)據(jù)類型為代表的新一代AI模型成為行業(yè)主流。國產(chǎn)芯片多大程度上支持FP8數(shù)據(jù)類型,，關(guān)系到新一代AI模型能否發(fā)揮出更優(yōu)性能,。
“過去，如果采用國產(chǎn)芯片支持FP8模型,，傳統(tǒng)技術(shù)方案需將FP8模型提前轉(zhuǎn)換為FP16或BF16格式才能運(yùn)行,，這將導(dǎo)致性能損失，而推理引擎‘赤兔’通過硬件適配優(yōu)化,，無需提前轉(zhuǎn)換模型,，即可實(shí)現(xiàn)‘無痛’‘無損’支持FP8數(shù)據(jù)類型?！鼻迦A大學(xué)計(jì)算機(jī)系長聘教授翟季冬介紹,。
為突破這一瓶頸，我國人工智能基礎(chǔ)設(shè)施企業(yè)清程極智與清華大學(xué)翟季冬教授團(tuán)隊(duì)聯(lián)合攻關(guān),，自主創(chuàng)新研發(fā)推理引擎“赤兔”并將其開源,。推理引擎“赤兔”采用國際領(lǐng)先的全棧性能調(diào)優(yōu)方案，可“四兩撥千斤”地挖掘國產(chǎn)芯片潛力,，實(shí)現(xiàn)國產(chǎn)芯片對FP8模型的原生支持,。
“赤兔”的最大優(yōu)勢是實(shí)現(xiàn)對國產(chǎn)芯片的降本增效：不僅顯著提升推理效率，也將降低部署成本,。研發(fā)人員告訴記者,，部署DeepSeek-R1等FP8模型時(shí)，基于“赤兔”的國產(chǎn)芯片方案將降低算力消耗,，硬件成本與運(yùn)維門檻也會(huì)同步下降,。這為我國人工智能基礎(chǔ)設(shè)施自主化開辟新路徑的同時(shí),，也將為金融、工業(yè),、醫(yī)療等領(lǐng)域的智能化轉(zhuǎn)型提供高性價(jià)比的支撐,。
編輯：李華山
