清華新聞網(wǎng)6月20日電 隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，人工智能在諸多領(lǐng)域取得了顯著突破，如自然語言處理、圖像識別和語音識別等。深度學(xué)習(xí)模型以其出色的性能和廣泛的應(yīng)用前景在工業(yè)界引起了高度關(guān)注。要使深度學(xué)習(xí)模型在實際應(yīng)用中表現(xiàn)出色，首先要解決的就是高質(zhì)量數(shù)據(jù)集的獲取問題，但當(dāng)前工業(yè)界在數(shù)據(jù)的收集方面仍面臨挑戰(zhàn)，例如由隱私和安全等因素導(dǎo)致數(shù)據(jù)獲取和處理復(fù)雜且昂貴；數(shù)據(jù)采集和標注對人員和設(shè)備專業(yè)度要求高、數(shù)據(jù)收集成本高；大規(guī)模的數(shù)據(jù)采集和處理對時間和資源的消耗量大等。基于此，遷移學(xué)習(xí)技術(shù)逐漸成為了工業(yè)缺陷檢測的一種有效解決方案，即一種將在一個領(lǐng)域中學(xué)到的知識和經(jīng)驗應(yīng)用到另一個領(lǐng)域的機器學(xué)習(xí)方法，通過利用源域中已有的大規(guī)模數(shù)據(jù)和模型，在目標領(lǐng)域標注數(shù)據(jù)不足情況下仍能達到良好的性能指標。
近日，清華大學(xué)深圳國際研究生院李星輝副教授團隊以“只需要看一次”（You Only Look Once，YOLO）系列目標檢測算法為例，提出了基于領(lǐng)域自適應(yīng)的可嵌入模塊，可以有效克服不同域之間的域偏移（domain shift）問題，高效利用不同來源的數(shù)據(jù)支持目標域任務(wù)訓(xùn)練，極大程度緩解了深度學(xué)習(xí)模型對數(shù)據(jù)集規(guī)模的高要求，有效降低了搜集目標域數(shù)據(jù)所需的昂貴時間及人工成本。
模塊主要部署在檢測網(wǎng)絡(luò)的特征提取部分，使用特征網(wǎng)絡(luò)中不同深度的特征圖，將其線性組合作為對應(yīng)源域或者目標域的特征表征。在獲取兩個領(lǐng)域各自的特征表征后，度量兩個領(lǐng)域的差異，將其作為損失項加入模型的損失函數(shù)，使之可以隨著訓(xùn)練迭代最小化（拉近源域和目標域的距離），以達到利用源域數(shù)據(jù)集指導(dǎo)模型在目標域數(shù)據(jù)集上訓(xùn)練的目的。
研究提出的第一個模塊為“領(lǐng)域自適應(yīng)”（Domain Adaptation，DA）模塊，該模塊使用特征提取網(wǎng)絡(luò)不同深度特征圖作為輸出，通過通道數(shù)調(diào)整、降維以及多分支加權(quán)組合得到對應(yīng)領(lǐng)域的域表征（Domain representation）。
圖1.DA模塊的使用方式
通過觀察數(shù)據(jù)集不同域之間的差異，研究團隊針對應(yīng)用場景提出了一種新的領(lǐng)域自適應(yīng)方法，回答了遷移學(xué)習(xí)中的核心問題——任務(wù)中“知識的遷移”指的是什么知識、“領(lǐng)域自適應(yīng)”指的是什么領(lǐng)域。在工業(yè)檢測應(yīng)用場景中，源域和目標域為同類型但不同來源的數(shù)據(jù)，故團隊選擇定義風(fēng)格作為其要自適應(yīng)的領(lǐng)域，并將該方法命名為“風(fēng)格自適應(yīng)”（Style Adaptation，SA）。
圖2.SA模塊的使用方式
SA模塊仍然使用DA類似方法，通道數(shù)調(diào)整之后提取各分支的風(fēng)格特征，最后使用注意力機制將各分支融合得到各領(lǐng)域?qū)?yīng)的風(fēng)格表征（style representation）。相較于DA方法，SA方法可解釋性更高、超參數(shù)更少、更輕量且能更有效消除域偏移現(xiàn)象。
圖3.SA模塊的具體細節(jié)
經(jīng)實驗證實，該工作提出的DA和SA模型在小樣本的磁瓦表面缺陷檢測領(lǐng)域具有較好精度表現(xiàn)。同時在保持較高檢測精度的同時，DA和SA作為兩個可插入模塊對base網(wǎng)絡(luò)增加的代價并不高，SA在使得檢測精度更高的同時保證了增加代價更少（表1）。此外，可插入模塊的設(shè)計使得檢測模型收斂更快（表2）。
表1.不同目標域上的模型泛化性驗證。表中“+”表示該方法可以作為一個可插入模塊進行集成。“+”后面的值表示與原始基礎(chǔ)網(wǎng)絡(luò)相比，嵌入模塊所產(chǎn)生的額外成本
表2.檢測模型隨訓(xùn)練迭代的精度變化
近日，相關(guān)研究以“風(fēng)格自適應(yīng)模塊：在表面缺陷檢測中增強檢測器對不同制造商間差異的魯棒性”（Style Adaptation Module: Enhancing Detector Robustness to Inter-Manufacturer Variability in Surface Defect Detection）為題，發(fā)表于《工業(yè)計算機》（Computers in Industry, COMIND）。李星輝為論文通訊作者，清華大學(xué)深圳國際研究生院2021級碩士生李晨為論文第一作者，2021級碩士生潘夏凱為第二作者。論文作者還包括深圳至漢裝備有限公司朱培源，桂林漢璟智能儀器有限公司廖呈瑋，廣西桂華智能制造有限公司田昊洋，深圳國際研究生院副教授錢翔、教授李秀以及研究員王曉浩。項目得到了深圳穩(wěn)定支持項目、國家重點研發(fā)計劃基金以及清華大學(xué)深圳國際研究生院交叉學(xué)科基金的支持。
模塊DA以“面向工業(yè)缺陷檢測的領(lǐng)域自適應(yīng)YOLOv5模型”（A domain adaptation YOLOv5 model for industrial defect inspection）為題，發(fā)表于《測量》（Measurement, MEAS）。李星輝為論文通訊作者，錢翔為共同通訊作者，李晨、深圳國際研究生院2019級碩士閆昊昕為論文共同第一作者。論文作者還包括朱培源、廖呈瑋、田昊洋、李秀以及王曉浩。項目得到了深圳穩(wěn)定支持項目、國家重點研發(fā)計劃基金以及清華大學(xué)深圳國際研究生院交叉學(xué)科基金的支持。
論文鏈接：
https://doi.org/10.1016/j.compind.2024.104084
https://doi.org/10.1016/j.measurement.2023.112725
供稿：深圳國際研究生院
編輯：李華山
審核：郭玲
