清華新聞網(wǎng)7月12日電 隨著信息技術(shù)的發(fā)展和算力的提高，深度學(xué)習(xí)時間序列分類模型的實現(xiàn)變得愈發(fā)復(fù)雜和精巧。但對于一些特定的領(lǐng)域下的時間序列分類數(shù)據(jù)集而言，可能存在由于樣本較為缺乏而導(dǎo)致訓(xùn)練出的深度學(xué)習(xí)分類器泛化能力不足的問題，并且時間序列領(lǐng)域的數(shù)據(jù)由于各時間點間的依賴需要被充分考慮，進而導(dǎo)致相應(yīng)的數(shù)據(jù)增強技術(shù)在很多場景下存在訓(xùn)練困難的情況。由于不同時間序列分類領(lǐng)域的實驗成本、數(shù)據(jù)采集條件不同，對于一個特定的樣本缺乏的目標(biāo)域分類任務(wù)，如果能夠借助廣泛存在的與之在標(biāo)簽集上、長度、通道數(shù)等方面均存在差異的數(shù)據(jù)集作為源域數(shù)據(jù)集并嘗試進行遷移學(xué)習(xí)，以增強目標(biāo)域分類器的泛化能力和分類性能，將會在一些分類場景下發(fā)揮一定作用。
近日，清華大學(xué)深圳國際研究生院李星輝副教授團隊受視覺任務(wù)中以CycleGAN為代表的風(fēng)格遷移以及領(lǐng)域自適應(yīng)中的條件對抗方法啟發(fā)，構(gòu)建了從弱相關(guān)時間序列分類數(shù)據(jù)集進行遷移學(xué)習(xí)的架構(gòu)。該架構(gòu)在考慮源域和目標(biāo)域間的差異以及因此而可能產(chǎn)生的負(fù)遷移的基礎(chǔ)上，將源域和目標(biāo)域分類器分別搭建，通過在不同深度的表征層上進行對齊操作并借助歸一化流生成同時帶有目標(biāo)域與源域特征的表征，實現(xiàn)了源域到目標(biāo)域的遷移。由于在新表征的生成上以及計算的全流程上與風(fēng)格遷移有相似之處，因而命名方法為特征層風(fēng)格遷移。
圖1.團隊所提架構(gòu)
由于最終面向的是分類任務(wù)，在進行目標(biāo)域表征對齊的過程中，架構(gòu)采用了條件對抗自適應(yīng)網(wǎng)絡(luò)中的方法，將目標(biāo)域表征以及新生成表征與各自對應(yīng)的分類結(jié)果進行隨機多線性映射以捕捉它們之間的依賴，在通過對抗方法拉進表征間距離的同時，對目標(biāo)域分類器的參數(shù)進行修改。此外，針對同一目標(biāo)域分類數(shù)據(jù)集，通過選擇不同的源域數(shù)據(jù)集進行遷移學(xué)習(xí)并對得到的目標(biāo)域分類器們運用投票機制，實現(xiàn)最終分類結(jié)果的確認(rèn)。
圖2.計算流程圖
以能夠自動適配最佳感受野的OS-CNN為基礎(chǔ)分類器，研究團隊在此基礎(chǔ)上將存在樣本缺乏且不存在類別不均衡等其他不利因素的難分類公開時間序列分類數(shù)據(jù)集作為目標(biāo)域，并隨機選取與之弱相關(guān)的時間序列分類數(shù)據(jù)集作為源域開展實驗后可以發(fā)現(xiàn)，從弱相關(guān)時間序列分類數(shù)據(jù)集進行遷移的效果可能與從其他角度入手的深度學(xué)習(xí)分類方法、集成了多種統(tǒng)計學(xué)習(xí)方法的時間序列分類器達到相匹敵的準(zhǔn)確度。此外，通過對現(xiàn)有的時間序列遷移學(xué)習(xí)架構(gòu)進行增加尺寸變換等模塊并將它們應(yīng)用于弱相關(guān)時間序列分類任務(wù)間的遷移學(xué)習(xí)場景，并把得到的結(jié)果與所提架構(gòu)進行比較，可以進一步論證本架構(gòu)的有效性。
表1.實驗結(jié)果以及消融實驗結(jié)果
圖3. 對比實驗結(jié)果
近日，相關(guān)研究成果以“從特征層風(fēng)格遷移和多源域遷移學(xué)習(xí)的角度提升時間序列分類器的泛化能力”（Towards the generalization of time series classification: A feature-level style transfer and multi-source transfer learning perspective）為題，發(fā)表于《基于知識的系統(tǒng)》（Knowledge-Based Systems，KBS）上。
李星輝為論文的通訊作者，深圳國際研究生院2021級碩士陳柏含為論文的第一作者。論文的共同作者包括深圳國際研究生院博士后李橋林、科研助理馬瑞、副教授錢翔和教授王曉浩。研究得到清華大學(xué)深圳國際研究生院交叉學(xué)科基金、深圳穩(wěn)定支持項目以及清華大學(xué)深圳國際研究生院啟動基金的支持。
論文鏈接：
https://doi.org/10.1016/j.knosys.2024.112057
供稿：深圳國際研究生院
編輯：李華山
審核：郭玲
