清華大學(xué)發(fā)布深度學(xué)習(xí)框架——計(jì)圖（Jittor）

清華新聞網(wǎng)4月2日電 清華大學(xué)計(jì)算機(jī)系圖形學(xué)實(shí)驗(yàn)室多年來一直致力于計(jì)算機(jī)圖形學(xué),、計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和系統(tǒng)軟件等領(lǐng)域的研究,，并成立了北京信息科學(xué)與技術(shù)國家研究中心下的可視媒體智能計(jì)算團(tuán)隊(duì),。在國家自然科學(xué)基金委創(chuàng)新群體項(xiàng)目和國家研究中心自主科研項(xiàng)目的資助下，研究團(tuán)隊(duì)提出了一個(gè)全新的深度學(xué)習(xí)框架——計(jì)圖（Jittor）,。計(jì)圖平臺已于3月20日正式對外發(fā)布和開源,，在著名開源平臺Github上發(fā)布后立刻受到了廣大深度學(xué)習(xí)開發(fā)者的好評。

深度學(xué)習(xí)技術(shù)正廣泛應(yīng)用于人工智能的各個(gè)領(lǐng)域,，如計(jì)算機(jī)視覺,、機(jī)器翻譯、自然語言處理,、智能機(jī)器人等,，取得了前所未有的突破。當(dāng)前,，一方面,，隨著深度學(xué)習(xí)新技術(shù)的出現(xiàn)、任務(wù)復(fù)雜度的提高,，易于擴(kuò)展同時(shí)保持高效的架構(gòu)成為發(fā)展趨勢；另一方面,，我國人工智能產(chǎn)業(yè)發(fā)展迅速,，亟需構(gòu)建自己的開源深度學(xué)習(xí)生態(tài)，避免被“卡脖子”,。

計(jì)圖是一個(gè)基于統(tǒng)一計(jì)算圖的深度學(xué)習(xí)框架,。計(jì)算圖是一種描述深度學(xué)習(xí)模型的表達(dá)方式。現(xiàn)階段主流深度學(xué)習(xí)框架多采用靜態(tài)計(jì)算圖或者動態(tài)計(jì)算圖兩種設(shè)計(jì)模式,，靜態(tài)圖比較易于優(yōu)化,，如TensorFlow1.0。動態(tài)圖相比靜態(tài)圖更加靈活,，但是優(yōu)化空間更小,，如PyTorch。也有框架支持這兩種計(jì)算圖并且提供兩者之間的轉(zhuǎn)換工具,，如TensorFlow2.0,。計(jì)圖創(chuàng)新的采用了統(tǒng)一計(jì)算圖，用戶并不需要手動切換，計(jì)圖可以動態(tài)的將計(jì)算圖拆分成可以優(yōu)化的子靜態(tài)圖,。讓計(jì)圖在保持動態(tài)圖靈活性的同時(shí),，還可以發(fā)揮出靜態(tài)圖的運(yùn)算性能。計(jì)圖與國際主流平臺相比,，具有多項(xiàng)先進(jìn)特性,，其統(tǒng)一計(jì)算圖的特性如下圖所示。

圖1 計(jì)圖的統(tǒng)一計(jì)算圖與其他平臺特性對比

計(jì)圖還采用元算子表達(dá)神經(jīng)網(wǎng)絡(luò)計(jì)算單元,、并且將其動態(tài)編譯（Just-in-Time）運(yùn)行,。深度學(xué)習(xí)采用的卷積神經(jīng)網(wǎng)絡(luò)是由算子（Operator）組成的一個(gè)計(jì)算網(wǎng)絡(luò)。由于架構(gòu)設(shè)計(jì)和不斷擴(kuò)充等原因,，當(dāng)前深度學(xué)習(xí)框架有多達(dá)2000種算子,，系統(tǒng)復(fù)雜，優(yōu)化和移植困難,。計(jì)圖將算子運(yùn)算進(jìn)一步分解,，形成了更加底層的三類20余種元算子閉包，目前神經(jīng)網(wǎng)絡(luò)常用算子均可以使用元算子的組合進(jìn)行表達(dá),。面向未來深度學(xué)習(xí)框架的發(fā)展趨勢,，計(jì)圖利用元算子組合表達(dá)的優(yōu)勢，提出統(tǒng)一計(jì)算圖進(jìn)行優(yōu)化,，并從底層開始設(shè)計(jì)了一個(gè)全新的動態(tài)編譯架構(gòu)（圖2）,。該架構(gòu)支持多種編譯器，實(shí)現(xiàn)了所有代碼的即時(shí)編譯和動態(tài)運(yùn)行,，確保了實(shí)現(xiàn)和優(yōu)化分離,，大幅提升了應(yīng)用開發(fā)靈活性、可拓展性和可移植性,。

圖2 “計(jì)圖”通過元算子融合實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模型

目前ResNet,、VGG、SSD,、DeepLab,、LSGAN等多個(gè)網(wǎng)絡(luò)模型已經(jīng)在計(jì)圖平臺實(shí)現(xiàn)，可供用戶使用,。與同類型框架相比,，計(jì)圖在收斂精度一致情況下，推理和訓(xùn)練速度取得了10%-50%的性能提升（圖3）,。 期望計(jì)圖能為學(xué)界和業(yè)界提供一個(gè)靈活高效的深度學(xué)習(xí)平臺,，促進(jìn)人工智能的研究和應(yīng)用，賦能人工智能產(chǎn)業(yè),。

圖3 Jittor和Pytorch推理與訓(xùn)練速度對比

計(jì)圖（Jittor）官方網(wǎng)站：https://cg.cs.tsinghua.edu.cn/jittor

北京信息科學(xué)與技術(shù)國家研究中心是由科技部于2017年11月批準(zhǔn)組建的六個(gè)國家研究中心之一,，是適應(yīng)大科學(xué)時(shí)代基礎(chǔ)研究特點(diǎn)的綜合交叉型信息科技創(chuàng)新基地,，是新時(shí)期國家科技創(chuàng)新體系的重要組成部分。中心依托清華大學(xué)建設(shè),，依靠清華信息學(xué)科群的基礎(chǔ)優(yōu)勢和綜合學(xué)科優(yōu)勢,、以及廣泛的國內(nèi)外影響力，在原清華信息科學(xué)與技術(shù)國家實(shí)驗(yàn)室十余年籌建工作的基礎(chǔ)上,，緊緊圍繞國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略,、信息科學(xué)前沿發(fā)展趨勢及產(chǎn)業(yè)創(chuàng)新發(fā)展需要，凝聚力量,，推動實(shí)現(xiàn)我國在信息領(lǐng)域跨越發(fā)展,，服務(wù)國家“一帶一路”全球戰(zhàn)略、網(wǎng)絡(luò)信息安全,、社會經(jīng)濟(jì)轉(zhuǎn)型等重大需求,，努力建成國際一流的學(xué)術(shù)創(chuàng)新中心、學(xué)科引領(lǐng)中心,、人才培育中心,、科學(xué)知識傳播中心。

供稿：北京信息科學(xué)與技術(shù)國家研究中心

編輯：李晨暉

審核：程曦