清華新聞網(wǎng)2月13日電 在癌癥診斷領(lǐng)域，病理圖像分析是癌癥診斷的“金標(biāo)準(zhǔn)”。隨著掃描技術(shù)的進(jìn)步，傳統(tǒng)病理組織標(biāo)本已逐步數(shù)字化為全切片圖像（Whole Slide Image, WSI），這一變革為計算機(jī)輔助診斷提供了新的機(jī)遇。然而，由于全切片圖像具有超高分辨率（如單張圖像可達(dá)4萬×4萬像素）且缺乏細(xì)粒度標(biāo)注，傳統(tǒng)深度學(xué)習(xí)方法難以直接應(yīng)用。多實例學(xué)習(xí)（Multiple Instance Learning, MIL）作為弱監(jiān)督學(xué)習(xí)范式，僅需圖像級標(biāo)簽即可實現(xiàn)分類與腫瘤定位，成為當(dāng)前研究熱點(diǎn)。然而，MIL范式固有的弱監(jiān)督信號與WSI中陰陽性實例分布失衡的雙重挑戰(zhàn)，造成模型對于陽性特征的學(xué)習(xí)不足，進(jìn)而導(dǎo)致注意力定位偏差，影響模型性能與臨床可應(yīng)用性。
面對這一挑戰(zhàn)，清華大學(xué)深圳國際研究生院王潤銘團(tuán)隊與哈爾濱工業(yè)大學(xué)（深圳）團(tuán)隊攜手合作，針對全切片病理圖像分類中注意力機(jī)制定位不準(zhǔn)確的難題，提出了名為“FAMIL”的新型多實例學(xué)習(xí)框架。該框架采用了雙分支結(jié)構(gòu)，并結(jié)合了兩種創(chuàng)新的在線數(shù)據(jù)增強(qiáng)策略：基于注意力的混合（ABMix）和基于注意力的掩蔽（ABMask）。FAMIL框架中的ABMix策略強(qiáng)調(diào)了陽性實例的重要性，在MIL場景中推廣了Mixup。而ABMask策略則靈活地識別具有挑戰(zhàn)性的陽性實例，以優(yōu)化特征學(xué)習(xí)。值得注意的是，F(xiàn)AMIL具備即插即用特性，可以靈活嵌入現(xiàn)有注意力模型，從而提升模型的性能與泛化能力。
圖1.FAMIL網(wǎng)絡(luò)架構(gòu)
研究團(tuán)隊還選取了ABMIL、DSMIL、TransMIL三種主流注意力MIL方法作為基線模型，并在涵蓋不同癌癥類型的多組數(shù)據(jù)集上進(jìn)行了驗證。實驗表明，經(jīng)FAMIL優(yōu)化后的所有基線模型性能均得到了顯著提升。同時，研究團(tuán)隊還將經(jīng)過FAMIL優(yōu)化后模型與其他先進(jìn)的MIL方法進(jìn)行了比較，進(jìn)一步驗證了研究架構(gòu)的有效性和先進(jìn)性。
對比實驗結(jié)果
此外，F(xiàn)AMIL框架中的ABMix為陽性區(qū)域構(gòu)建多樣化陰性環(huán)境，ABMask對WSI中陽性硬實例進(jìn)行靈活挖掘，兩大策略共同增強(qiáng)了模型對陽性特征表征學(xué)習(xí)，改進(jìn)了基于注意力的MIL方法腫瘤定位能力，顯著改善了陽性WSI中注意力定位不準(zhǔn)確和陰性WSI中注意力分布不平衡的問題。
圖2.注意力可視化圖
相關(guān)研究成果以“集中注意力：基于注意力修正的全玻片病理圖像分類多實例學(xué)習(xí)”（Focus Your Attention: Multiple Instance Learning with Attention Modification for Whole Slide Pathological Image Classification）為題，發(fā)表于《IEEE電路與系統(tǒng)視頻技術(shù)匯刊》（IEEE Transactions on Circuits and Systems for Video Technology, TCSVT）。
清華大學(xué)深圳國際研究生院2022級碩士生程海倫為論文的第一作者，清華大學(xué)深圳國際研究生院王潤銘助理教授為論文通訊作者，哈爾濱工業(yè)大學(xué)（深圳）張永兵教授為共同通訊作者。論文的共同作者還包括哈爾濱工業(yè)大學(xué)（深圳）2022級博士生黃沈錦、2023級博士生蔡凌翰，清華大學(xué)深圳國際研究生院2022級碩士生徐煬帆。研究得到清華大學(xué)深圳國際研究生院交叉基金、國家自然科學(xué)基金的支持。
論文鏈接：
https://doi.org/10.1109/TCSVT.2025.3528625
供稿：深圳國際研究生院
編輯：李華山
審核：郭玲
