清華新聞網(wǎng)10月9日電 電子工程系王生進、李亞利團隊的博士生豆朝鵬的論文“面向域泛化行人再識別的身份導向自監(jiān)督表征學習”（Identity-Seeking Self-Supervised Representation Learning forGeneralizable Person Re-identification）于8月12日被國際計算機視覺大會（IEEE International Conference on Computer Vision,ICCV2023）接收為口頭報告。當?shù)貢r間10月6日，豆朝鵬赴法國巴黎參加該學術(shù)會議并作大會口頭報告。ICCV2023的有效投稿數(shù)為8088，最終接收了2160篇文章，接收率約26.7%，共有152篇論文被接收為口頭報告（Oral），接收率僅1.9%。
該論文解決的是域泛化行人再識別任務(wù)（Domain-Generalizable Person Re-identification,DG ReID）中的重要難題——在未知的目標域上進行測試時，模型的性能大幅下降問題。解決該問題的常見做法是在小規(guī)模的有標注數(shù)據(jù)上學習域不變的行人表征。然而，這種方法受限于訓練數(shù)據(jù)的規(guī)模，域信息匱乏，難以學到泛化能力強的行人表征。為此，豆朝鵬等作者提出新的解決思路，如圖1所示，從大規(guī)模的無標注互聯(lián)網(wǎng)行人視頻中學習域泛化能力強的行人表征。該方案的可行性來自于兩點：（1）從互聯(lián)網(wǎng)獲取無標注的行人視頻代價極低。（2）大規(guī)模的互聯(lián)網(wǎng)視頻數(shù)據(jù)包含豐富的域信息，能學習到泛化能力強的行人表征。
圖1.解決思路：從大規(guī)模無標注視頻中學習域泛化行人表征
對于大規(guī)模的無標注數(shù)據(jù)，一個樸素的做法是采用經(jīng)典的無監(jiān)督對比學習方法，如MoCo、SimCLR、BYOL等訓練模型。然而經(jīng)過分析，作者發(fā)現(xiàn)這些無監(jiān)督對比學習方法不適用于行人再識別任務(wù)。行人再識別任務(wù)要求屬于同一個行人的多張圖像具有相似的表征，而MoCo等方法為每一張圖像學習唯一的表征，與行人再識別任務(wù)的要求不一致。為了能夠驅(qū)動大規(guī)模的無標注數(shù)據(jù)來學習域泛化行人表征，作者提出了身份導向的自監(jiān)督表征學習框架(Identity-Seeking Self-Supervised Representation Learning, ISR)。如圖2所示，該框架包括兩個主要部分：（1）基于最大二分圖匹配構(gòu)建跨幀正樣本對。（2）基于所提出的可靠性引導的對比學習損失，抑制噪聲正樣本對的影響。ISR要求鄰近幀中屬于同一個行人的圖像具有相似的表征，這與行人再識別任務(wù)的要求一致。ISR的訓練復雜度和訓練數(shù)據(jù)量呈線性關(guān)系，因此能夠驅(qū)動大規(guī)模的訓練數(shù)據(jù)。
圖2.方法框架：身份導向自監(jiān)督表征學習框架ISR
廣泛的實驗結(jié)果表明，ISR學習的表征具有很強的域泛化能力和域遷移能力。在域泛化設(shè)定中，在七個常用的行人數(shù)據(jù)集上，ISR的性能大幅超越了現(xiàn)有的工作。在域適應(yīng)設(shè)定中，ISR學習的表征能夠更快速、更有效地適應(yīng)新場景，有很大的實際部署潛力和價值。這些結(jié)果表明，該論文所提出的結(jié)合自監(jiān)督對比學習和大規(guī)模無標注行人數(shù)據(jù)是解決行人再識別任務(wù)中的泛化問題的有效方法，這是邁向域泛化行人再識別的一大突破。
ICCV會議由電氣與電子工程師學會（The Institute of Electrical and Electronics Engineers,IEEE）舉辦，與計算機視覺模式識別會議（IEEE Conference on Computer Vision and Pattern Recognition,CVPR）和歐洲計算機視覺會議（European Conference on Computer Vision,ECCV）并稱計算機視覺方向的三大會議，被中國計算機學會等機構(gòu)評為最高級別的學術(shù)會議，擁有極高的領(lǐng)域影響力。
論文連接：
https://openaccess.thecvf.com/content/ICCV2023/papers/Dou_Identity-Seeking_Self-Supervised_Representation_Learning_for_Generalizable_Person_Re-Identification_ICCV_2023_paper.pdf
供稿：電子系
編輯：李華山
審核：郭玲
