清華新聞網(wǎng)11月15日電 人工智能視覺(jué)系統(tǒng)在自動(dòng)駕駛、具身智能等領(lǐng)域中發(fā)揮著至關(guān)重要的作用。在傳統(tǒng)視覺(jué)芯片架構(gòu)中，由于傳感、計(jì)算和存儲(chǔ)單元的分離導(dǎo)致大量數(shù)據(jù)的轉(zhuǎn)換和傳輸，帶來(lái)了延時(shí)和能耗問(wèn)題。受生物視覺(jué)系統(tǒng)啟發(fā)的感內(nèi)計(jì)算（in-sensor computing）架構(gòu)應(yīng)運(yùn)而生，因其能在傳感端進(jìn)行原位信息處理，實(shí)現(xiàn)感存算一體化，減少數(shù)據(jù)冗余傳輸，降低系統(tǒng)延時(shí)與能耗，展現(xiàn)出巨大潛力。然而，視覺(jué)感內(nèi)計(jì)算研究尚處于起步階段，在硬件層面，當(dāng)前研究大多聚焦于單個(gè)光電感存算一體化器件，缺少將大規(guī)模陣列與硅CMOS電路有效集成的方案；在算法架構(gòu)層面，當(dāng)前演示的感內(nèi)計(jì)算功能較為單一，難以支撐復(fù)雜視覺(jué)信息處理任務(wù)。
針對(duì)上述挑戰(zhàn)，清華大學(xué)集成電路學(xué)院團(tuán)隊(duì)研制了具有多模態(tài)的感存算一體化光電憶阻器陣列，搭建了單片集成的感內(nèi)計(jì)算原型系統(tǒng)，用于處理多階視覺(jué)任務(wù)。該系統(tǒng)片上集成了1kb（1024個(gè)）1T-1OEM光電憶阻器陣列與硅CMOS外圍電路（圖1），基于TiOx/ZnO的新型光電憶阻器具有多種工作模式，包括電學(xué)憶阻器（EM）、動(dòng)態(tài)光電憶阻器（D-OEM）和非易失性光電憶阻器（NV-OEM）模式，這些模式可通過(guò)光電激勵(lì)引發(fā)的電荷密度分布變化來(lái)進(jìn)行有效調(diào)控。通過(guò)為光電憶阻器陣列配置不同的工作模式，研究團(tuán)隊(duì)成功演示了從低階到高階的智能視覺(jué)信息處理任務(wù)，具有高準(zhǔn)確率與低能耗的優(yōu)勢(shì)，為復(fù)雜場(chǎng)景智能視覺(jué)應(yīng)用提供了一個(gè)高效的硬件平臺(tái)。
圖1.多模態(tài)感存算一體化光電憶阻器陣列：片上集成1kb光電憶阻器1T-1OEM單元和硅CMOS外圍電路
研究團(tuán)隊(duì)設(shè)計(jì)并制備了一種新型的雙層氧化物光電憶阻器，其結(jié)構(gòu)為Pd/TiOx/ZnO/TiN，在器件中引入TiOx界面層以增強(qiáng)阻變的穩(wěn)定性并提升光電響應(yīng)。通過(guò)光電激勵(lì)可以調(diào)控器件三種不同的工作模式（圖2）：原始狀態(tài)為光電脈沖激勵(lì)下的動(dòng)態(tài)響應(yīng)模式、電壓脈沖激勵(lì)下的循環(huán)阻變模式以及在電學(xué)Forming后的非易失性光電響應(yīng)模式。為進(jìn)一步闡明光電憶阻器的多模態(tài)調(diào)控機(jī)制，團(tuán)隊(duì)采用了差分相位對(duì)比掃描透射電子顯微鏡（DPC-STEM）這一前沿成像技術(shù)，精確觀測(cè)了光電調(diào)控過(guò)程中ZnO內(nèi)部電荷密度的分布變化，這些觀察結(jié)果為理解器件光電響應(yīng)模式的調(diào)控提供了有力支撐。
圖2.光電憶阻器的三種不同工作模式及其電荷密度分布變化
在此基礎(chǔ)上，研究團(tuán)隊(duì)進(jìn)一步通過(guò)CMOS后道兼容工藝，將1024個(gè)1T-1OEM光電憶阻器單元組成的128×8陣列集成到硅基CMOS譯碼電路的上方，通過(guò)光電測(cè)試驗(yàn)證該陣列具有良好的均一性與穩(wěn)定性，同時(shí)可以實(shí)現(xiàn)多比特編程（圖3）和感存算一體化功能。
圖3.多模態(tài)光電憶阻器陣列的性能測(cè)試
基于該光電憶阻器陣列，研究團(tuán)隊(duì)演示了多種場(chǎng)景的智能視覺(jué)信息處理任務(wù)：在圖像傳感預(yù)處理任務(wù)中，利用NV-OEM模式可以將圖像識(shí)別率從85.7%提升至97.6%；在高階認(rèn)知任務(wù)中，利用D-OEM與NV-OEM陣列協(xié)同工作演示多目標(biāo)定位跟蹤，在模擬環(huán)境噪聲的干擾下，通過(guò)多次訓(xùn)練依然可以實(shí)現(xiàn)96.1%的高準(zhǔn)確率；在此基礎(chǔ)上，首次構(gòu)建了基于全光電憶阻器的儲(chǔ)備池計(jì)算系統(tǒng)，由18個(gè)D-OEM模式器件構(gòu)成儲(chǔ)備池層和1024×5個(gè)EM模式器件構(gòu)成讀出層，在人體運(yùn)動(dòng)識(shí)別任務(wù)中以極低能耗實(shí)現(xiàn)了91.2%的準(zhǔn)確率。
圖4.基于多模態(tài)光電憶阻器陣列實(shí)現(xiàn)多場(chǎng)景智能視覺(jué)任務(wù)處理
相關(guān)研究成果以“面向多場(chǎng)景感內(nèi)計(jì)算的全集成多模態(tài)光電憶阻器陣列”（Fully integrated multi-mode optoelectronic memristor array for diversified in-sensor computing）為題，于11月8日在線發(fā)表于《自然·納米技術(shù)》（Nature Nanotechnology）。
清華大學(xué)集成電路學(xué)院副教授唐建石、教授吳華強(qiáng)和北京信息科學(xué)與技術(shù)國(guó)家研究中心副研究員王鈺言為論文共同通訊作者，集成電路學(xué)院博士后黃河意（現(xiàn)為中國(guó)科學(xué)院微電子研究所副研究員）為論文第一作者。合作者包括清華大學(xué)戴瓊海院士、方璐教授、錢(qián)鶴教授、高濱副教授、姚鵬副研究員等。研究得到科技部重大項(xiàng)目、國(guó)家自然科學(xué)基金、北京信息科學(xué)與技術(shù)國(guó)家研究中心、北京集成電路高精尖創(chuàng)新中心、科學(xué)探索獎(jiǎng)等的支持。
論文鏈接：
https://www.nature.com/articles/s41565-024-01794-z
供稿：集成電路學(xué)院
題圖設(shè)計(jì)：趙存存
編輯：李華山
審核：郭玲
