清華新聞網(wǎng)10月9日電 人工神經(jīng)網(wǎng)絡(luò)（ANN）在過去十幾年中發(fā)展迅猛。ANN范式最初的主要任務(wù)是通過調(diào)整固定拓撲結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重來實現(xiàn)（局部）最優(yōu)的任務(wù)表現(xiàn)。但最近，如何使網(wǎng)絡(luò)拓撲結(jié)構(gòu)也能進化和自適應(yīng)重構(gòu)這一問題受到了領(lǐng)域里研究者更多的關(guān)注，因為網(wǎng)絡(luò)拓撲結(jié)構(gòu)的可進化能力被認為是人工通用智能的一個基礎(chǔ)，這是人工智能技術(shù)的長遠目標。效率和可重構(gòu)性之間的沖突成為人工神經(jīng)網(wǎng)絡(luò)技術(shù)實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)可進化目標的一個主要障礙。
憶阻器是具有記憶功能的可變電阻器，具有豐富的內(nèi)在動力學(xué)行為，和生物神經(jīng)單元的行為有可類比之處，作為一種新型的神經(jīng)形態(tài)硬件給腦啟發(fā)計算范式的發(fā)展注入了巨大的活力。憶阻器通常被集成到交叉陣列中以用作神經(jīng)網(wǎng)絡(luò)中神經(jīng)元層之間的突觸連接。受經(jīng)典深度學(xué)習(xí)算法的影響，憶阻器主要用于構(gòu)建固定結(jié)構(gòu)ANN的加速器。這要求憶阻器克服內(nèi)在動力學(xué)所固有的隨機性，以保持穩(wěn)定的靜態(tài)電阻和較高的循環(huán)耐受性。然而，為了滿足這些需求，往往需要花費大量的器件級和電路級優(yōu)化精力。
受ANN技術(shù)發(fā)展趨勢的引導(dǎo)和憶阻器在ANN應(yīng)用中存在的問題啟發(fā)，清華大學(xué)精密儀器系類腦計算團隊提出逆向利用憶阻器動力學(xué)的內(nèi)在隨機性實現(xiàn)復(fù)雜網(wǎng)絡(luò)的按需生成的方法。在該方法中，通過時間復(fù)用創(chuàng)建多個虛擬節(jié)點，并利用器件動力學(xué)所具有的周期到周期（cycle to cycle，C2C）可變性生成不平凡的網(wǎng)絡(luò)拓撲特征，例如小世界特征。當(dāng)用于儲備池計算時，與傳統(tǒng)的全連接網(wǎng)絡(luò)儲備池相比，憶阻器復(fù)雜網(wǎng)絡(luò)可以顯著增加儲備池記憶容量并提高性能。這項工作拓展了基于憶阻器的神經(jīng)形態(tài)計算范式，并有望啟發(fā)對憶阻器的內(nèi)在物理性質(zhì)（例如動力學(xué)和隨機性）進行更多研究和應(yīng)用。該成果近日以“具有內(nèi)在可變性的動態(tài)憶阻器內(nèi)的生成復(fù)雜網(wǎng)絡(luò)”（Generative complex networks within a dynamic memristor with intrinsic variability）為題發(fā)表在《自然·通訊》（Nature Communications）上。
圖1.動態(tài)憶阻器表征及電學(xué)特性
該研究所用到的Pd/HfO2/Ta2O5/Ta憶阻器（圖1所示）被電激發(fā)后的自發(fā)電阻衰減時間常數(shù)具有C2C可變性，以此作為時域虛擬節(jié)點連接的隨機性來源。依據(jù)C2C隨機性的統(tǒng)計規(guī)律設(shè)計了“probabilistic border and all-or-none connection”（PBAONC）連接生成機制用于創(chuàng)建復(fù)雜網(wǎng)絡(luò)（圖2所示）。該設(shè)計使得僅在單個憶阻器內(nèi)通過調(diào)節(jié)時間復(fù)用時隙就可以便捷地調(diào)節(jié)復(fù)雜網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，提高了憶阻器應(yīng)用于ANN時的效率和可重構(gòu)性。
圖2.PBAONC復(fù)雜網(wǎng)絡(luò)的生成示意圖
圖3.基于憶阻器的PBAONC復(fù)雜網(wǎng)絡(luò)儲備池計算
該方法利用動態(tài)憶阻器電阻衰減的內(nèi)在C2C可變性來生成復(fù)雜的網(wǎng)絡(luò)連接模式。生成的PBAONC復(fù)雜網(wǎng)絡(luò)具有一定程度的小世界特性，這是生物（例如大腦）、互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)中普遍存在的特征，實現(xiàn)了信息整合和分化的更優(yōu)平衡。該工作展示了憶阻器PBAONC復(fù)雜網(wǎng)絡(luò)在類腦儲備池計算任務(wù)中的優(yōu)勢。實驗結(jié)果表明，基于PBAONC拓撲的儲備池網(wǎng)絡(luò)具有更優(yōu)的譜半徑（圖3所示）。憶阻器復(fù)雜網(wǎng)絡(luò)儲備池的記憶容量增加到傳統(tǒng)憶阻器全連接儲備池網(wǎng)絡(luò)的209.8%并且在語音識別任務(wù)中展現(xiàn)出更佳的性能（圖4所示）。
圖4.時序信息處理任務(wù)
該研究的第一完成單位為清華大學(xué)精密儀器系、清華大學(xué)類腦計算研究中心。清華大學(xué)精密儀器系2020級博士研究生郭云鵬、北京信息科技大學(xué)段文睿講師和清華大學(xué)類腦計算中心劉學(xué)工程師為該論文共同第一作者，李黃龍副教授、馬騁副研究員、劉學(xué)工程師和段文睿講師為該論文的共同通訊作者。精密儀器系博士生王昕鑫、西南大學(xué)段書凱教授和王麗丹教授為研究作出了重要貢獻。該研究得到了國家自然科學(xué)基金、科技創(chuàng)新2030-“腦科學(xué)與類腦研究”重大項目、北京市腦科學(xué)與類腦研究中心等的資助。
論文鏈接：
https://www.nature.com/articles/s41467-023-41921-3
供稿：精儀系
題圖設(shè)計：趙存存
編輯：李華山
審核：郭玲
