近日，在中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)主辦的數(shù)據(jù)存儲(chǔ)專(zhuān)業(yè)委員會(huì)（以下簡(jiǎn)稱(chēng)“數(shù)據(jù)存儲(chǔ)專(zhuān)業(yè)委員會(huì)”）成立大會(huì)上，中國(guó)工程院院士、數(shù)據(jù)存儲(chǔ)專(zhuān)委會(huì)名譽(yù)會(huì)長(zhǎng)鄭緯民發(fā)表“AI存儲(chǔ)是人工智能大模型的關(guān)鍵基座”主題演講。
鄭緯民介紹，人工智能進(jìn)入大模型時(shí)代有兩個(gè)特點(diǎn)：第一，基礎(chǔ)大模型進(jìn)入多模態(tài)時(shí)代，從單純文本到圖片視頻等多模態(tài)語(yǔ)料信息的綜合應(yīng)用。第二，大模型已真正在金融、醫(yī)療、智能制造等多個(gè)領(lǐng)域應(yīng)用。
圍繞大模型四個(gè)環(huán)節(jié)，鄭緯民介紹了大模型訓(xùn)練和推理應(yīng)用中對(duì)存儲(chǔ)的挑戰(zhàn)和相關(guān)技術(shù)：
第一個(gè)環(huán)節(jié)，數(shù)據(jù)獲取：大模型訓(xùn)練需要海量的原始語(yǔ)料數(shù)據(jù)，這些數(shù)據(jù)獲取以后需要存儲(chǔ)設(shè)備存起來(lái)，同時(shí)大模型從單模態(tài)到多模態(tài)，出現(xiàn)數(shù)百億的小文件，文件系統(tǒng)的目錄要求可擴(kuò)展、讀寫(xiě)快，需要存儲(chǔ)具備低延遲和高可擴(kuò)展能力。
第二個(gè)環(huán)節(jié)，數(shù)據(jù)預(yù)處理：獲取的數(shù)據(jù)質(zhì)量太差，好多數(shù)據(jù)是重復(fù)的、低質(zhì)量的，因此需要進(jìn)行預(yù)處理，將低質(zhì)量數(shù)據(jù)變成高質(zhì)量。有人統(tǒng)計(jì)過(guò)ChatGPT4這樣級(jí)別的大模型需要用1萬(wàn)塊A100卡訓(xùn)練了11個(gè)月，而其中數(shù)據(jù)預(yù)處理可能會(huì)占一半以上的時(shí)間，真正有效的訓(xùn)練時(shí)間只有一半，這跟數(shù)據(jù)存儲(chǔ)的性能有很大關(guān)系。
第三個(gè)環(huán)節(jié)，模型訓(xùn)練：模型訓(xùn)練中有很多問(wèn)題，比如10萬(wàn)塊卡組成的系統(tǒng)可靠性是很難保證的，平均一個(gè)小時(shí)要出一次錯(cuò)，集群可用度非常低。為了快速完成斷點(diǎn)續(xù)訓(xùn)，需要把CheckPoint點(diǎn)的數(shù)據(jù)讀取出來(lái)重新訓(xùn)練，這個(gè)時(shí)候就很依賴(lài)存儲(chǔ)系統(tǒng)的性能。高性能的AI存儲(chǔ)系統(tǒng)，能夠極大縮短斷點(diǎn)續(xù)訓(xùn)時(shí)間，實(shí)現(xiàn)AI集群的算力可用度大幅提升。
華為跟清華大學(xué)MADSys實(shí)驗(yàn)室聯(lián)合開(kāi)發(fā)了高性能AI存儲(chǔ)系統(tǒng)，獲得國(guó)際權(quán)威機(jī)構(gòu)MLPerf Storage基準(zhǔn)評(píng)測(cè)第一名，性能密度是第二名的兩倍。
第四個(gè)環(huán)節(jié)，模型推理：模型推理是最直接跟AI應(yīng)用相關(guān)的環(huán)節(jié)，更多的數(shù)據(jù)、更大的模型以及更長(zhǎng)的上下文窗口能夠帶來(lái)更高效的人工智能。但是有個(gè)問(wèn)題，更高的智能要求的推理負(fù)載極重，模型參數(shù)以及推理過(guò)程中產(chǎn)生的KV-Cache都需要很大的存儲(chǔ)空間，特別是200萬(wàn)字節(jié)的長(zhǎng)序列對(duì)卡的要求很高。這方面國(guó)內(nèi)優(yōu)秀的大模型應(yīng)用Kimi就和清華大學(xué)MADSys實(shí)驗(yàn)室共同推出了 Mooncake 分離式推理架構(gòu)，通過(guò)把需要共享的KV-Cache保存下來(lái)，采用以存換算的思路大幅度提升系統(tǒng)吞吐。
鄭緯民表示，模型的推理過(guò)程是一個(gè)復(fù)雜的存儲(chǔ)系統(tǒng)工程，關(guān)鍵是能夠存的多、傳的快、性?xún)r(jià)比高。清華大學(xué) MADSys 實(shí)驗(yàn)室聯(lián)合華為數(shù)據(jù)存儲(chǔ)、9#AISoft、阿里云、面壁、趨境等幾家公司共同開(kāi)發(fā)高性能內(nèi)存型長(zhǎng)記憶存儲(chǔ)系統(tǒng)，即將開(kāi)源發(fā)布。能夠大范圍全局共享與持久化KV-Cache，實(shí)現(xiàn)以存換算。共建大模型時(shí)代下的高性能內(nèi)存型長(zhǎng)記憶存儲(chǔ)系統(tǒng)生態(tài)，充分發(fā)揮存儲(chǔ)在大模型下的作用。
鄭緯民總結(jié)，AI存儲(chǔ)是人工智能大模型的關(guān)鍵基座，存儲(chǔ)系統(tǒng)存在于大模型生命周期的每一環(huán)，是大模型的關(guān)鍵基座，通過(guò)以存強(qiáng)算、以存換算，先進(jìn)的AI存儲(chǔ)能夠提升訓(xùn)練集群可用度，降低推理成本，提升用戶(hù)體驗(yàn)。
編輯：李華山
