清華新聞網(wǎng)1月6日電 1月5日，清華軟件論壇第十一期邀請(qǐng)到DeepMind研究科學(xué)家、清華大學(xué)軟件學(xué)院2011屆校友李宇佳作題為“AlphaCode：編程競賽級(jí)的程序自動(dòng)生成”的學(xué)術(shù)報(bào)告。清華大學(xué)軟件學(xué)院、計(jì)算機(jī)系、土水學(xué)院的師生以及來自中山大學(xué)、北京大學(xué)、上海交大、西南大學(xué)等兄弟高校的智能軟件研究與實(shí)踐者200余人線上參會(huì)。
李宇佳作學(xué)術(shù)報(bào)告
李宇佳首先分析了編程競賽問題的特點(diǎn)和難點(diǎn)，以及選擇該問題作為切入點(diǎn)開展代碼生成模型AlphaCode研究的原因。編程是解決各種問題的強(qiáng)有力工具，編程問題可以作為基線來推動(dòng)更強(qiáng)大的機(jī)器學(xué)習(xí)模型的開發(fā)，也便于自動(dòng)化評(píng)判模型生成樣本的正確性。過去兩年，運(yùn)用大型語言模型做代碼自動(dòng)生成的工作得到了國內(nèi)外學(xué)術(shù)界和工業(yè)界的普遍關(guān)注，部分工作已經(jīng)產(chǎn)品化。AlphaCode采用GitHub上的開源代碼對(duì)模型進(jìn)行預(yù)訓(xùn)練，再用自建編程競賽題目與解答的數(shù)據(jù)集進(jìn)行模型訓(xùn)練和微調(diào)，使模型適應(yīng)編程競賽應(yīng)用場景。最后，針對(duì)每個(gè)問題生成大量的樣本，再對(duì)生成的樣本進(jìn)行采樣和測評(píng)。李宇佳詳細(xì)介紹了研究組對(duì)模型效果的分析思路，尤其是驗(yàn)證模型在解出題目的時(shí)候是否找到了新的問題的新解法的過程。AlphaCode代碼生成模型目前在編程競賽中達(dá)到了人類參賽選手的中游水平，未來還有很多進(jìn)步空間。
在提問環(huán)節(jié)，線上參會(huì)的師生圍繞數(shù)據(jù)預(yù)處理、問題理解、代碼補(bǔ)全工具、軟件測試、程序優(yōu)化、錯(cuò)誤分類等興趣點(diǎn)，以及如何利用大語言模型輔助特定類型的軟件研發(fā)，如CAD、數(shù)據(jù)庫、操作系統(tǒng)等問題提問，李宇佳逐一進(jìn)行分析和詳細(xì)解答。
部分與會(huì)人員線上合影
李宇佳，現(xiàn)任DeepMind研究科學(xué)家。2011年在清華大學(xué)軟件學(xué)院獲學(xué)士學(xué)位，2013年和2017年在加拿大多倫多大學(xué)分別獲碩士和博士學(xué)位。主要從事深度學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)和大規(guī)模語言模型領(lǐng)域的研究工作。他主持開發(fā)的編程競賽級(jí)程序自動(dòng)生成系統(tǒng)AlphaCode作為科學(xué)雜志2022年12月封面文章發(fā)表，成為程序自動(dòng)生成領(lǐng)域的標(biāo)志性工作之一。
供稿：軟件學(xué)院
編輯：陳曉艷
審核：郭玲
