清華新聞網(wǎng)8月19日電 近日，清華大學(xué)物理系徐勇、段文暉研究組基于深度學(xué)習(xí)密度泛函理論哈密頓量（DeepH）方法，發(fā)展出一種具備第一性原理智能的深度學(xué)習(xí)電子結(jié)構(gòu)計(jì)算方法DeepH-Zero。該方法首次在算法層面實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)與密度泛函理論的深度結(jié)合，賦予了模型基于物理原理的非監(jiān)督學(xué)習(xí)能力。
圖1.DeepH 系列方法的發(fā)展歷程
深度學(xué)習(xí)第一性原理計(jì)算是量子物理與人工智能的前沿交叉研究方向，可用于實(shí)現(xiàn)人工智能驅(qū)動(dòng)的新物理與新材料發(fā)現(xiàn)。在前期研究中，徐勇、段文暉研究組發(fā)展了一種名為DeepH（Deep-learning DFT Hamiltonian）的深度學(xué)習(xí)電子結(jié)構(gòu)計(jì)算方法。該方法能夠從密度泛函（DFT）數(shù)據(jù)中學(xué)習(xí)，并準(zhǔn)確預(yù)測給定材料的哈密頓量，進(jìn)而高效計(jì)算多種材料性質(zhì)。隨后，團(tuán)隊(duì)分別基于等變網(wǎng)絡(luò)技術(shù)，推出了DeepH-E3方法和xDeepH方法；通過引入Transformer架構(gòu)，團(tuán)隊(duì)進(jìn)一步提升了DeepH方法的通用性和泛化能力，推出了DeepH-2方法，并在此基礎(chǔ)上發(fā)展出了DeepH通用材料模型。然而，先前研究普遍采用監(jiān)督學(xué)習(xí)方法，深度學(xué)習(xí)與第一性原理算法彼此獨(dú)立：即利用第一性原理計(jì)算構(gòu)建數(shù)據(jù)集，再采用深度學(xué)習(xí)方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)。未來發(fā)展需要將深度學(xué)習(xí)與第一性原理計(jì)算在理論與算法層面深度交叉融合，真正意義上實(shí)現(xiàn)具備第一性原理智能的深度學(xué)習(xí)科學(xué)計(jì)算。
圖2.監(jiān)督學(xué)習(xí)（左圖）與非監(jiān)督學(xué)習(xí)（右圖）。在前一類方法中，神經(jīng)網(wǎng)絡(luò)與密度泛函理論（DFT）的算法是分離的；后一類方法實(shí)現(xiàn)了兩種算法的有機(jī)結(jié)合，被命名為“神經(jīng)網(wǎng)絡(luò)密度泛函理論”。DeepH-Zero首次展示了這類具備第一性原理智能的新理論方法
最新的研究進(jìn)展中，著眼于深度學(xué)習(xí)與第一性原理計(jì)算的深度結(jié)合，團(tuán)隊(duì)研發(fā)了全新的DeepH-Zero方法，它能在零訓(xùn)練數(shù)據(jù)的情形下利用基本物理原理實(shí)現(xiàn)DeepH優(yōu)化學(xué)習(xí)。該方法通過在神經(jīng)網(wǎng)絡(luò)中嵌入物理規(guī)則，巧妙地將神經(jīng)網(wǎng)絡(luò)與變分DFT算法結(jié)合，形成了一種名為“神經(jīng)網(wǎng)絡(luò)DFT”的無監(jiān)督學(xué)習(xí)框架。DeepH-Zero在模型精度和泛化能力方面顯著超越了傳統(tǒng)監(jiān)督學(xué)習(xí)框架，它能夠在不依賴任何訓(xùn)練計(jì)算數(shù)據(jù)的情況下，實(shí)現(xiàn)對材料物性的精準(zhǔn)預(yù)測。
在DeepH-Zero開發(fā)過程中，研究團(tuán)隊(duì)利用可微編程技術(shù)，從頭構(gòu)建了一整套擁有自主知識產(chǎn)權(quán)的新型DFT計(jì)算軟件包——AI2DFT。通過自動(dòng)微分和反向傳播算法，AI2DFT程序能夠高效執(zhí)行DFT微分計(jì)算，實(shí)現(xiàn)了DFT程序與神經(jīng)網(wǎng)絡(luò)的無縫對接，進(jìn)而實(shí)現(xiàn)基于物理原理的無監(jiān)督學(xué)習(xí)。研究結(jié)果表明，通過將DFT基本原理融入神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，神經(jīng)網(wǎng)絡(luò)DFT在預(yù)測DFT物理量（如能量、電荷密度等）方面的精度超越了數(shù)據(jù)驅(qū)動(dòng)方法。這項(xiàng)工作為深度學(xué)習(xí)與第一性原理計(jì)算的協(xié)同發(fā)展提供了嶄新的思路，為實(shí)現(xiàn)具備第一性原理智能的深度學(xué)習(xí)電子結(jié)構(gòu)計(jì)算發(fā)展開辟了新方向。
研究成果以“基于變分能量最小化的神經(jīng)網(wǎng)絡(luò)密度泛函理論”（Neural-network Density Functional Theory Based on Variational Energy Minimization）為題，于8月12日在線發(fā)表于《物理評論快報(bào)》（Physical Review Letters），并入選編輯推薦文章。這也是研究組今年在該方向發(fā)表的第二篇《物理評論快報(bào)》編輯推薦文章。
清華大學(xué)物理系教授徐勇和段文暉為該論文通訊作者，研究組“水木學(xué)者”博士后李洋、2023級博士生唐澤宸、2020級本科生陳澤洲為共同第一作者。合作者還包括研究組博士生孫明輝、趙柏恒、陶泓耕、袁子龍、李賀。研究得到基礎(chǔ)科學(xué)研究中心、國家自然科學(xué)基金重點(diǎn)項(xiàng)目、國家科技部重點(diǎn)研發(fā)計(jì)劃、北京市未來芯片技術(shù)高精尖創(chuàng)新中心、北京材料基因工程高精尖創(chuàng)新中心、清華大學(xué)“水木學(xué)者”、天津超算中心等項(xiàng)目單位的支持。
論文鏈接：
https://doi.org/10.1103/PhysRevLett.133.076401
供稿：物理系
題圖設(shè)計(jì)：任帥
編輯：李華山
審核：郭玲
