清華新聞網(wǎng)7月23日電 病理圖像處理難度大，其圖像分辨率高（百億像素左右）、數(shù)據(jù)量大，處理耗時耗資源。細(xì)胞和組織形態(tài)復(fù)雜多變且有差異，準(zhǔn)確識別分析難。圖像質(zhì)量還受樣本制備、染色等因素影響，易有噪聲、模糊等問題。此外，病理診斷需綜合多因素，要求算法能整合分析信息，實現(xiàn)難度大。
清華大學(xué)自動化系生命基礎(chǔ)模型實驗室閭海榮副研究員、江瑞教授、張學(xué)工教授與中南大學(xué)湘雅醫(yī)院胡忠良教授合作，提出了一種基于大區(qū)域興趣和金字塔Transformer的精準(zhǔn)病理診斷AI基礎(chǔ)模型ROAM，用于膠質(zhì)瘤的臨床級診斷和分子標(biāo)志物發(fā)現(xiàn)，并可拓展到其他類型腫瘤的病理診斷。
7月18日，該研究工作以“一種基于Transformer的弱監(jiān)督計算病理方法及其在膠質(zhì)瘤臨床級診斷和分子標(biāo)志物發(fā)現(xiàn)中的應(yīng)用”（A transformer-based weakly supervised computational pathology method for clinical-grade diagnosis and molecular marker discovery of gliomas）為題，發(fā)表于《自然·機器智能》（Nature Machine Intelligence）期刊。
膠質(zhì)瘤是最常見的原發(fā)性顱內(nèi)腫瘤，診斷極具挑戰(zhàn)性。ROAM能夠從病理圖像中有效提取豐富的多尺度信息，實現(xiàn)了對膠質(zhì)瘤腫瘤檢測、亞型分類、分級和分子特征預(yù)測等多種分類任務(wù)的準(zhǔn)確診斷。在內(nèi)部數(shù)據(jù)上，ROAM的診斷性能卓越，能夠自動捕獲與病理學(xué)家經(jīng)驗一致的關(guān)鍵形態(tài)特征，為膠質(zhì)瘤提供準(zhǔn)確、可靠和適應(yīng)性強的臨床級診斷。此外，ROAM還能推廣到獨立的外部數(shù)據(jù)，具有出色的泛化能力。通過可視化和解釋診斷，ROAM能夠幫助病理學(xué)家驗證模型診斷基礎(chǔ)的可靠性，并提取有價值的信息。同時，它還能促進輔助診斷，提高醫(yī)療水平。最重要的是，ROAM有助于發(fā)現(xiàn)分子和形態(tài)學(xué)生物標(biāo)志物，為膠質(zhì)瘤的診斷和治療提供新的見解。
ROAM是一種弱監(jiān)督計算病理學(xué)方法，該方法以多示例學(xué)習(xí)為基本框架，以大尺寸組織圖像塊為基本研究單元，并采用金字塔transformer來系統(tǒng)地學(xué)習(xí)每個組織圖塊的尺度內(nèi)和尺度間的相關(guān)性特征，從而實現(xiàn)對全組織切片圖像視覺表征的有效提取。如圖1，ROAM首先對每張全切片圖像進行組織分割并從中提取大尺寸的組織圖像塊（2048×2048）作為后續(xù)分析的基本單元。隨后，ROAM利用多尺度示例特征學(xué)習(xí)模塊組織圖塊的特征，分別使用尺度內(nèi)自注意力模塊（Intra-scale SA）和尺度間自注意力模塊（inter-scale SA）學(xué)習(xí)組織圖塊中相同放大尺度下不同位置以及不同放大尺度下同一位置的局部區(qū)域之間的相關(guān)性特征，利用金字塔transformer架構(gòu)逐步從高放大倍數(shù)到低放大倍數(shù)融合多尺度特征，得到組織圖塊的多尺度視覺表征。最后利用門控注意力機制學(xué)習(xí)每個組織圖塊（示例）的注意力權(quán)重并加權(quán)求和，得到整張切片的視覺表征。
圖1.ROAM模型架構(gòu)概覽
研究人員在內(nèi)部數(shù)據(jù)集和TCGA外部數(shù)據(jù)集上評估了ROAM的分類表現(xiàn)。ROAM優(yōu)于包括CLAM、TransMIL、GTP、TEA-graph、H2MIL在內(nèi)的五種已有方法，在內(nèi)部數(shù)據(jù)集膠質(zhì)瘤診斷相關(guān)的任務(wù)上均優(yōu)于其他基線方法（圖2a）。同時，ROAM也具有良好的泛化性，僅使用內(nèi)部數(shù)據(jù)集進行訓(xùn)練并在外部TCGA數(shù)據(jù)集上測試，ROAM的總體表現(xiàn)仍然優(yōu)于其他基線方法。此外，ROAM預(yù)測的可視化結(jié)果也表明該方法總結(jié)的診斷依據(jù)與臨床診斷標(biāo)準(zhǔn)非常一致。
圖2. 膠質(zhì)瘤診斷表現(xiàn)
研究人員對ROAM進行了臨床級的綜合評估并研究了ROAM在膠質(zhì)瘤輔助診斷中的表現(xiàn)。如圖3，ROAM的臨床膠質(zhì)瘤診斷表現(xiàn)與高年資病理醫(yī)生相當(dāng)。此外，在ROAM提供的可視化依據(jù)的輔助作用下，3位中低年資的病理醫(yī)生的診斷準(zhǔn)確性有了顯著的提升，這體現(xiàn)了ROAM的巨大臨床應(yīng)用價值。
圖3.人機對抗表現(xiàn)
研究人員借助ROAM探究了與膠質(zhì)瘤診斷相關(guān)的關(guān)鍵分子特征的形態(tài)學(xué)表現(xiàn)。研究人員關(guān)注到ROAM在預(yù)測異檸檬酸脫氫酶（IDH）突變的分子特征任務(wù)上表現(xiàn)優(yōu)異，對ROAM在該任務(wù)中的預(yù)測結(jié)果進行了完整的可視化分析，并對ROAM關(guān)注的高注意力關(guān)鍵區(qū)域的組織形態(tài)特征進行分析和總結(jié)，發(fā)現(xiàn)在IDH突變的病理圖像中普遍存在嗜酸性細(xì)胞增多、細(xì)胞質(zhì)均勻和細(xì)胞核深染的現(xiàn)象。這一重要發(fā)現(xiàn)有利于醫(yī)生在不借助分子檢測的情況下作出初步的IDH狀態(tài)的預(yù)測，對于膠質(zhì)瘤臨床診斷標(biāo)準(zhǔn)和優(yōu)化和完善有顯著的推進作用。
ROAM方法通過大尺寸圖像塊和多尺度特征學(xué)習(xí)模塊實現(xiàn)了全切片組織病理圖像視覺表征的高效提取，為臨床上膠質(zhì)瘤的病理診斷提供了一種全面、通用、有效的解決方案，未來也可以推廣到其他類型腫瘤的病理診斷。
清華大學(xué)自動化系閭海榮副研究員、張學(xué)工教授、中南大學(xué)湘雅醫(yī)院胡忠良教授為通訊作者，清華大學(xué)自動化系江瑞教授、2022級碩士生尹小旭，中國移動研究院楊鵬帥，湘雅醫(yī)院程靈超為論文共同第一作者。清華大學(xué)自動化系研究生胡雋、楊嬌、王穎、傅曉丹、商利、李麗玲、藺薇、周歡參與了本研究的數(shù)據(jù)采集及標(biāo)注，陳福沨及福州數(shù)據(jù)技術(shù)研究院提供了在線軟件平臺的研發(fā)支持。
論文鏈接：
https://www.nature.com/articles/s42256-024-00868-w
供稿：自動化系
編輯：李華山
審核：王曉霞
