本發(fā)明涉及計算機視覺、變化檢測,具體而言,涉及一種基于自適應(yīng)特征擾動的半監(jiān)督遙感圖像變化檢測方法。
背景技術(shù):
1、遙感影像變化檢測(remote?sensing?change?detection,?rscd)是通過分析不同時間獲取的遙感影像,識別地表特征變化的任務(wù)。該任務(wù)本質(zhì)上是一個二分類的問題,其目的是在同一區(qū)域的不同時間拍攝的雙時相圖像對中,識別出感興趣的目標(biāo)變化區(qū)域(如建筑物、水域、植被和道路等)。rscd在城市建設(shè)規(guī)劃、森林環(huán)境保護、農(nóng)村土地管理和自然災(zāi)害評估等領(lǐng)域具有廣泛應(yīng)用,這也使得rscd成為了遙感領(lǐng)域的一個重要研究方向。近年來,基于深度學(xué)習(xí)的變化檢測方法取得了顯著進步。然而,這類方法高度依賴于大量標(biāo)注的訓(xùn)練數(shù)據(jù),當(dāng)標(biāo)注樣本不足時,其性能會顯著下降。此外,變化檢測任務(wù)的數(shù)據(jù)標(biāo)注過程復(fù)雜,通常需要高精度的幾何圖像配準和像素級精細標(biāo)注,耗時且成本高。與此同時,隨著對地觀測技術(shù)的快速發(fā)展,大量無標(biāo)注數(shù)據(jù)變得易于獲取,為半監(jiān)督學(xué)習(xí)提供了契機。半監(jiān)督學(xué)習(xí)方法能夠有效利用這些未標(biāo)注樣本,從而在標(biāo)注數(shù)據(jù)有限的情況下,顯著提升模型的性能,是解決上述問題的一種有效途徑。
2、半監(jiān)督變化檢測(semi-supervised?change?detection,?sscd)旨在同時利用有限的標(biāo)記訓(xùn)練樣本和大量無標(biāo)記訓(xùn)練樣本進行訓(xùn)練,以提升變化檢測性能。這樣模型不僅能夠?qū)W習(xí)到所需的語義信息,還能夠更加充分地學(xué)習(xí)到語義特征分布,從而顯著地提高模型的魯棒性。目前的主流方法包括基于偽標(biāo)簽自訓(xùn)練的方法、基于一致性正則化的方法和基于生成對抗網(wǎng)絡(luò)的方法。其中,基于偽標(biāo)簽自訓(xùn)練的方法首先利用一個預(yù)測模型為無標(biāo)記樣本生成偽標(biāo)簽,將這些無標(biāo)記樣本以及偽標(biāo)簽與標(biāo)記訓(xùn)練樣本混合,一起進行監(jiān)督訓(xùn)練,從而為模型提供擴充的訓(xùn)練數(shù)據(jù);基于一致性正則化的方法通過對輸入數(shù)據(jù)施加不同程度的擾動,利用模型在這些輸入數(shù)據(jù)上的輸出一致性作為訓(xùn)練約束;基于生成對抗網(wǎng)絡(luò)的方法旨在利用生成模型對數(shù)據(jù)的分布進行建模,從而推斷出未標(biāo)注數(shù)據(jù)的潛在信息。
3、雖然以上這些方法取得了一定成功,但仍存在一些挑戰(zhàn):基于偽標(biāo)簽自訓(xùn)練的方法存在不可避免的噪聲問題,在訓(xùn)練過程中不斷累積可能嚴重影響模型的性能;此外生成對抗網(wǎng)絡(luò)的訓(xùn)練過程高度不穩(wěn)定,梯度消失問題常導(dǎo)致生成器難以持續(xù)優(yōu)化,因此難以達到理想的最優(yōu)訓(xùn)練結(jié)果。
技術(shù)實現(xiàn)思路
1、本發(fā)明解決的問題是如何有效減小模型預(yù)測中的噪聲影響,并防止隨機擾動導(dǎo)致的確認偏差過大的問題,從而提高模型預(yù)測的可靠性和穩(wěn)定性。
2、本發(fā)明提供一種基于自適應(yīng)特征擾動的半監(jiān)督遙感圖像變化檢測方法,包括:
3、步驟1,采集雙時相圖像對,劃分有標(biāo)簽訓(xùn)練集和無標(biāo)簽訓(xùn)練集;
4、步驟2,初始化學(xué)生模型和教師模型的權(quán)重;
5、步驟3,對有標(biāo)簽訓(xùn)練集進行弱增強處理后輸入學(xué)生模型,并計算監(jiān)督損失;
6、步驟4,對無標(biāo)簽訓(xùn)練集進行弱增強處理得到弱增強訓(xùn)練集,對弱增強訓(xùn)練集進行強增強處理得到強增強訓(xùn)練集;
7、步驟5,將弱增強訓(xùn)練集輸入教師模型預(yù)測得到置信度圖,并評估置信度圖得到確定性值,最大值歸一化處理所有確定性值得到預(yù)測確定性值;
8、步驟6,根據(jù)每個預(yù)測確定性值定制自適應(yīng)特征擾動方案;
9、步驟7,將強增強訓(xùn)練集輸入學(xué)生模型中得到高維特征,向高維特征施加自適應(yīng)特征擾動方案;計算教師模型與學(xué)生模型的無監(jiān)督損失;
10、步驟8,采用指數(shù)衰減預(yù)熱函數(shù)對無監(jiān)督損失進行加權(quán),并與監(jiān)督損失相加得到總體訓(xùn)練損失;
11、步驟9,采用隨機梯度下降法最小化總體訓(xùn)練損失更新學(xué)生模型的權(quán)重;基于更新后的學(xué)生模型的權(quán)重和指數(shù)移動平均法更新教師模型的權(quán)重。
12、本技術(shù)與現(xiàn)有技術(shù)相比,具有以下優(yōu)點:采用弱增強訓(xùn)練集訓(xùn)練教師模型,并通過最大值歸一化處理得到預(yù)測確定性值來緩解偽標(biāo)簽不可靠帶來的不利影響;接著,基于每個預(yù)測確定性值定制自適應(yīng)特征擾動方案,能夠根據(jù)樣本質(zhì)量動態(tài)調(diào)整樣本特征的擾動,在隨機擾動的基礎(chǔ)上增加了可控性,從而顯著減少了學(xué)生模型的確認偏差,提高學(xué)生模型對遙感圖像變化半監(jiān)督變化檢測的性能。
13、在一種可能的實施方式中,所述步驟1中雙時相圖像對包括同一區(qū)域不同時相的兩張遙感影像。
14、與現(xiàn)有技術(shù)相比,通過充分利用有標(biāo)簽訓(xùn)練集的標(biāo)注數(shù)據(jù),最大化無標(biāo)簽訓(xùn)練集的價值,顯著降低對人工標(biāo)注的依賴性,提升半監(jiān)督學(xué)習(xí)的效率和實用性。
15、在一種可能的實施方式中,所述步驟3中監(jiān)督損失的計算公式為:
16、;
17、式中,表示監(jiān)督損失,表示輸入學(xué)生模型中有標(biāo)簽樣本的總數(shù);表示學(xué)生模型在第對雙時相圖像對的第個像素的預(yù)測變化概率,表示第對雙時相圖像對的第個像素的真實標(biāo)簽;表示雙時相圖像對中遙感圖像的長,表示雙時相圖像對中遙感圖像的寬。
18、與現(xiàn)有技術(shù)相比,采用有標(biāo)簽訓(xùn)練集經(jīng)過弱增強處理后計算監(jiān)督損失的方式,有效利用有標(biāo)簽訓(xùn)練集的標(biāo)注信息,增強學(xué)生模型對有標(biāo)簽訓(xùn)練集的特征學(xué)習(xí)能力。
19、在一種可能的實施方式中,所述步驟4中對無標(biāo)簽訓(xùn)練集進行弱增強處理包括隨機翻轉(zhuǎn)、隨機縮放和隨機裁剪;所述步驟4中的對弱增強訓(xùn)練集進行強增強處理包括恒等、對比度、自動對比度、亮度、色彩、均衡化、銳度、色調(diào)分離、反色中的隨機三種。
20、與現(xiàn)有技術(shù)相比,采用對無標(biāo)簽訓(xùn)練集分別進行弱增強處理和強增強處理,生成多樣化的訓(xùn)練樣本,弱增強處理保留核心特征,用于教師模型生成可靠的偽標(biāo)簽,強增強處理通過組合多種圖像變換,模擬復(fù)雜場景變化,增強學(xué)生模型對特征擾動的魯棒性,降低過度擬合風(fēng)險。
21、在一種可能的實施方式中,所述步驟5具體包括:
22、步驟501,將弱增強訓(xùn)練集和強增強訓(xùn)練集分別進行批量劃分成若干弱增強樣本集和若干強增強樣本集;同批次的弱增強樣本集和強增強樣本集中的對應(yīng)的樣本源于同一對雙時相圖像對;
23、步驟502,隨機選擇弱增強樣本集輸入教師模型預(yù)測變化概率得到置信度圖;
24、步驟503,對置信度圖進行評估得到確定性值,計算公式為:
25、;
26、式中,表示確定性值,表示置信度圖,表示對確定性值在所有像素上取均值,表示預(yù)測概率差異圖,,表示取絕對值運算;表示加權(quán)信息熵圖,,是預(yù)測概率的信息熵,與分別表示不變類和變化類的信息熵;;式中,;;表示第對雙時相圖像對的預(yù)測變化概率;
27、步驟504,對每個確定性值進行最大值歸一化處理得到預(yù)測確定性值。
28、與現(xiàn)有技術(shù)相比,通過置信度圖計算確定性值,并最大值歸一化得到預(yù)測確定性值,動態(tài)量化教師模型預(yù)測的可信度,避免低質(zhì)量樣本的干擾,緩解不可靠偽標(biāo)簽的負面影響,通過最大值歸一化處理標(biāo)準化樣本質(zhì)量評估,為后續(xù)定制自適應(yīng)特征擾動方案提供可靠依據(jù)。
29、在一種可能的實施方式中,所述步驟6定制的自適應(yīng)特征擾動方案包括擾動數(shù)量和擾動強度,所述步驟6具體包括:
30、步驟601,將作為一個縮放因子,計算得到每個預(yù)測確定性值的擾動數(shù)量,計算公式為:
31、;
32、式中,表示預(yù)測確定性值的擾動數(shù)量,表示擾動池中的總擾動數(shù)量;
33、步驟602,從擾動池中隨機選取擾動數(shù)量個擾動方法,計算每種擾動方法的擾動強度,計算公式為:
34、;
35、式中,表示擾動強度,為第種擾動方法的預(yù)定義參數(shù)。
36、與現(xiàn)有技術(shù)相比,采用上述技術(shù)方案,實現(xiàn)高質(zhì)量樣本低擾動,低質(zhì)量樣本高擾動的差異化策略,既能避免了隨機擾動的盲目性,針對性優(yōu)化特征,又能減少學(xué)生模型的確認偏差,提升對噪聲數(shù)據(jù)的容忍度。
37、在一種可能的實施方式中,所述步驟7具體包括:
38、步驟701,將與步驟5選中的弱增強樣本集同批次的強增強樣本集輸入學(xué)生模型進行特征提取、融合得到高維特征;
39、步驟702,將自適應(yīng)特征擾動方案施加到高維特征,表達式為:
40、;
41、式中,表示施加擾動后的高維特征,表示學(xué)生模型從當(dāng)前批次的強增強樣本集中第對無標(biāo)簽樣本上提取的高維特征,表示當(dāng)前批次的弱增強樣本集中第對無標(biāo)簽樣本的自適應(yīng)特征擾動方案的集合,表示具體施加擾動的過程;
42、步驟703,采用學(xué)生模型解碼器對擾動后的高維特征解碼,得到變化概率,計算公式為:,表示學(xué)生模型在強增強樣本集上的變化概率;
43、步驟704,計算教師模型與學(xué)生模型的無監(jiān)督損失,計算公式為:
44、;
45、其中,表示無監(jiān)督損失,是當(dāng)前批次弱增強樣本集中無標(biāo)簽樣本的總數(shù),表示教師模型在弱增強樣本集上的變化概率,表示施加第個擾動方法后輸出變化概率,表示均方誤差損失函數(shù)。
46、與現(xiàn)有技術(shù)相比,采用將自適應(yīng)特征擾動方案施加到學(xué)生模型提取的高維特征,并計算無監(jiān)督損失,增強學(xué)生模型對特征變化的敏感性,通過教師模型和學(xué)生模型預(yù)測一致性約束,進一步提升偽標(biāo)簽的可靠性。
47、在一種可能的實施方式中,所述步驟8具體包括:
48、步驟801,采用指數(shù)衰減預(yù)熱函數(shù)對無監(jiān)督損失進行加權(quán)表示為:
49、;
50、;
51、式中,表示無監(jiān)督損失的最大可達權(quán)重,用于控制預(yù)熱過程快慢程度;表示當(dāng)前迭代周期;?為預(yù)熱過程的總步長,為整個訓(xùn)練過程的總迭代次數(shù),且?0<<1;
52、步驟802,計算總體訓(xùn)練損失,計算公式為:
53、;
54、式中,表示總體訓(xùn)練損失,表示權(quán)值。
55、與現(xiàn)有技術(shù)相比,采用指數(shù)衰減預(yù)熱函數(shù)動態(tài)調(diào)整無監(jiān)督損失的權(quán)重,學(xué)生模型在步驟4中側(cè)重監(jiān)督約束,在步驟7及后續(xù)步驟中引入無監(jiān)督約束,平衡了不同訓(xùn)練階段的優(yōu)化目標(biāo),避免早期不穩(wěn)定偽標(biāo)簽干擾學(xué)生模型收斂,提高訓(xùn)練穩(wěn)定性。
56、在一種可能的實施方式中,所述步驟9中基于更新后的學(xué)生模型的權(quán)重和指數(shù)移動平均法更新教師模型的權(quán)重的計算公式為:
57、;
58、式中,表示教師模型的初始化權(quán)重,表示教師模型更新后的權(quán)重,表示學(xué)生模型更新后的權(quán)重,是移動指數(shù)平均的動量因子。
59、與現(xiàn)有技術(shù)相比,采用隨機梯度下降法更新學(xué)生模型的權(quán)重,后學(xué)結(jié)合指數(shù)移動平均法更新教師模型的權(quán)重,繼承學(xué)生模型的漸進優(yōu)化結(jié)果,確保教師模型輸出更穩(wěn)定的偽標(biāo)簽,形成良性師生互動,加速學(xué)生模型和教師模型的收斂。
60、在一種可能的實施方式中,所述步驟1中采集的雙時相圖像對還劃分有驗證集和測試集;
61、還包括步驟10,基于驗證集和測試集對權(quán)重更新后的學(xué)生模型進行驗證、測試和保存;具體包括:
62、步驟1001,當(dāng)前批次的弱增強樣本集和強增強樣本集訓(xùn)練所述教師模型和學(xué)生模型結(jié)束后,隨機選擇另一個弱增強樣本集和強增強樣本集經(jīng)過步驟5-步驟9訓(xùn)練教師模型和學(xué)生模型;
63、步驟1002,采用平均交并比評價每批次訓(xùn)練接受后的學(xué)生模型,保存平均交并比最高的學(xué)生模型的權(quán)重;
64、步驟1003,采用測試集對保存的學(xué)生模型進行測試,計算平均交并比并將預(yù)測變化概率進行可視化,得到雙時相圖像對的變化檢測結(jié)果。
65、與現(xiàn)有技術(shù)相比,采用平均交并比作為評價指標(biāo),直接反映變化檢測精度,確保對真實場景的實用性,可視化操作進一步驗證本技術(shù)方法在對復(fù)雜場景的變化檢測的魯棒性,為實際部署提供直觀依據(jù)。