本發(fā)明屬于圖像處理，涉及水體提取方法及系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、水體是自然資源監(jiān)測(cè)的重要內(nèi)容，水體數(shù)據(jù)是保障社會(huì)經(jīng)濟(jì)生活正常運(yùn)行的資源信息，也是工程建設(shè)運(yùn)維等項(xiàng)目中需要關(guān)注的重要對(duì)象，比如在電網(wǎng)工程的運(yùn)營(yíng)與維護(hù)中，及時(shí)獲取準(zhǔn)確有效的水體數(shù)據(jù)有利于采取措施預(yù)防水體災(zāi)害和保障電網(wǎng)財(cái)產(chǎn)安全。

2、目前的水體提取方法中，基于水體指數(shù)的提取方式在單波段和多波段影像中得到普遍應(yīng)用，但是無(wú)法徹底抑制與水體無(wú)關(guān)的背景信息，且提取結(jié)果準(zhǔn)確性依賴于專家知識(shí)，限制其應(yīng)用場(chǎng)景；決策樹、隨機(jī)森林、支持向量機(jī)等機(jī)器學(xué)習(xí)的方法經(jīng)過(guò)發(fā)展，在一些場(chǎng)景中水體提取效果得到改善，但水體提取受限于專家知識(shí)以及提取結(jié)果后處理等因素，工作效率難以滿足因影像數(shù)據(jù)更新速度提升帶來(lái)的及時(shí)獲取水體數(shù)據(jù)的需求。近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)開始被應(yīng)用在遙感影像水體提取任務(wù)中，從海量標(biāo)注數(shù)據(jù)中進(jìn)行特征抽取，取得了不錯(cuò)的效果。然而，一方面深度學(xué)習(xí)需要輸入大量的樣本數(shù)據(jù)，用戶手動(dòng)采集代價(jià)十分高昂，另一方面無(wú)論是基于人工設(shè)計(jì)特征的傳統(tǒng)模型還是基于強(qiáng)大特征抽取能力的深度學(xué)習(xí)模型，都無(wú)法從復(fù)雜的高分辨率遙感影像中一次性和高質(zhì)量地自動(dòng)提取地物目標(biāo)，仍然需要對(duì)預(yù)測(cè)結(jié)果進(jìn)行人工核檢和修正，水體提取效率低，使得生產(chǎn)應(yīng)用十分低效。

技術(shù)實(shí)現(xiàn)思路

1、為了解決背景技術(shù)中所述的水體提取方法無(wú)法一次性和高質(zhì)量地自動(dòng)提取地物目標(biāo)、需要對(duì)預(yù)測(cè)結(jié)果進(jìn)行人工核檢和修正、效率低以及生產(chǎn)應(yīng)用十分低效的問(wèn)題，本發(fā)明提出了基于深度學(xué)習(xí)的交互式水體提取方法、系統(tǒng)、設(shè)備及介質(zhì)。

2、本發(fā)明的方法，包括：

3、獲取水體樣本數(shù)據(jù)集；

4、對(duì)水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)進(jìn)行中值濾波預(yù)處理，得到預(yù)處理后的水體樣本數(shù)據(jù)集；

5、對(duì)所述預(yù)處理后的水體樣本數(shù)據(jù)集中的語(yǔ)義標(biāo)簽數(shù)據(jù)集，基于骨架線提取算法分別生成前景樣本線圖和背景樣本線圖；

6、依據(jù)所述前景樣本線圖和背景樣本線圖，分別作為正、負(fù)樣本點(diǎn)或線，將點(diǎn)或線看作獨(dú)立像素或一組像素集并標(biāo)記為前景或背景，對(duì)用戶交互情況進(jìn)行模擬，生成顧及多種特征的交互數(shù)據(jù)編碼圖；

7、依據(jù)預(yù)處理后的水體樣本數(shù)據(jù)集，通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)獲取水體圖像特征圖；

8、將所述預(yù)處理后的水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)、所述交互數(shù)據(jù)編碼圖以及所述水體圖像特征圖作為分割網(wǎng)絡(luò)模型輸入，對(duì)分割網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練更新得到水體交互分割模型；

9、依據(jù)水體交互分割模型對(duì)高分辨率的水體遙感影像數(shù)據(jù)進(jìn)行水體結(jié)果數(shù)據(jù)提取，得到水體數(shù)據(jù)概率圖；

10、依據(jù)所述水體數(shù)據(jù)概率圖，利用全連接條件隨機(jī)場(chǎng)進(jìn)行水體邊界優(yōu)化，并輸出矢量格式的水體矢量結(jié)果，實(shí)現(xiàn)水體提取。

11、進(jìn)一步地，所述水體樣本數(shù)據(jù)集中影像數(shù)據(jù)的預(yù)處理方法為：

12、采用中值濾波圖像平衡化方法，用窗口內(nèi)的所有像素的中值代替中心像素的值來(lái)濾除孤立噪聲，計(jì)算公式如下：

13、yi,j＝median(xi,j),xi,j∈α??(1)，

14、其中，xi,j和yi,j分別表示輸入和輸出圖像像素，α表示中值濾波的處理窗口，median函數(shù)為返回窗口內(nèi)像素的中值。

15、更進(jìn)一步地，所述前景樣本線圖和背景樣本線圖的生成方法包括：

16、首先，依據(jù)所述預(yù)處理后的水體樣本數(shù)據(jù)集中的語(yǔ)義標(biāo)簽數(shù)據(jù)集得到的圖像真值，對(duì)所要提取的目標(biāo)地物進(jìn)行二值化，再根據(jù)四連通區(qū)域進(jìn)行判斷獲得當(dāng)前目標(biāo)的獨(dú)立二值區(qū)域；

17、接著，采用骨架線提取算法，依據(jù)當(dāng)前目標(biāo)的獨(dú)立二值區(qū)域，使用形態(tài)學(xué)細(xì)化操作，侵蝕邊界處的像素，直到不可能再細(xì)化，使骨架線里的所有像素都屬于目標(biāo)內(nèi)部，且不包含任何歧義，獲得目標(biāo)單個(gè)像素寬的骨架曲線，

18、最后，按照像素二值標(biāo)簽擴(kuò)張這些單個(gè)像素寬的骨架線以覆蓋更多的像素，生成前景種子線，作為前景樣本線圖；

19、在反轉(zhuǎn)了語(yǔ)義標(biāo)簽數(shù)據(jù)集得到的圖像真值后，按照以上生成前景種子線的方式，生成背景骨架線，作為背景樣本線圖。

20、更進(jìn)一步地，所述交互數(shù)據(jù)編碼圖包括：相關(guān)圖e(vi,j)，二值編碼圖bs(vi,j)和正、負(fù)測(cè)地線圖gdp(vi,j)和gdn(vi,j)；

21、所述相關(guān)圖e(vi,j)的計(jì)算方法包括：

22、對(duì)預(yù)處理后的水體樣本數(shù)據(jù)集的語(yǔ)義數(shù)據(jù)集，模擬用戶交互得到的正、負(fù)樣本點(diǎn)或線，根據(jù)歐式距離變換生成一個(gè)正歐式距離圖edp，其中p表示正通道圖，以同樣的方式可以獲取負(fù)歐式距離圖edn，其中n表示負(fù)通道圖；將正歐式距離圖edp、負(fù)歐式距離圖edn進(jìn)行結(jié)合，將像素的位置融入到一個(gè)通道圖中，重新計(jì)算圖像中每個(gè)像素的空間位置編碼值；將每個(gè)像素的空間位置編碼值歸一化到[0,1]，得到相關(guān)圖e(vi,j)，e(vi,j)的計(jì)算公式如下：

23、

24、

25、

26、其中，vi,j代表圖像中任意位置(i,j)像素的值，s是標(biāo)記像素的集合，sp和sn分別代表前景標(biāo)記像素集合和背景標(biāo)記像素集合；

27、所述二值編碼圖bs(vi,j)的計(jì)算方法為：

28、遵循用戶標(biāo)記像素，保留采樣像素的原始二值編碼圖，并將正、負(fù)樣本點(diǎn)、線融合到一個(gè)二值編碼圖bs(vi,j)中，將用戶標(biāo)記像素的值設(shè)置為255，其余像素值設(shè)置為0；

29、所述正、負(fù)測(cè)地線圖gdp(vi,j)和gdn(vi,j)的計(jì)算方法為：

30、采用測(cè)地線距離變換，利用圖像本身具有的豐富信息對(duì)用戶交互進(jìn)行編碼，得到測(cè)地線距離圖gdt(vi,j)，gdt(vi,j)計(jì)算公式如下：

31、

32、

33、其中，i表示整個(gè)輸入圖像，pathv,u和r(s)分別表示在像素v和像素u之間所有的路徑及其方向向量，表示兩個(gè)像素之間方向向量的梯度微分；通過(guò)計(jì)算，可以分別針對(duì)前、背景標(biāo)記像素計(jì)算得到正、負(fù)測(cè)地線圖gdp(vi,j)和gdn(vi,j)。

34、更進(jìn)一步地，所述水體圖像特征圖的獲取方法為：

35、以預(yù)處理后的水體樣本數(shù)據(jù)集為輸入，通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)，固定從imagenet數(shù)據(jù)集上預(yù)訓(xùn)練的vgg網(wǎng)絡(luò)模型參數(shù)，抽取圖像特征，將其中的“conv1_2”、“conv2_2”、“conv3_2”、“conv4_2”、“conv5_2”的特征張量通過(guò)雙線性采樣的方式，得到與原始圖像尺寸一樣的特征圖，作為水體圖像特征圖。

36、更進(jìn)一步地，所述分割網(wǎng)絡(luò)模型的卷積層方面，使用1×1空洞卷積，輸出通道為64，在下采樣部分，使用在圖像四分之一尺寸下的級(jí)聯(lián)空洞卷積，在保證輸出通道數(shù)一直為64的同時(shí)，擴(kuò)大空洞率為1，2，4，8，16，每個(gè)空洞卷積后都緊接一個(gè)relu層；同樣，利用邊緣填充保持張量的尺寸前后連貫；

37、所述分割網(wǎng)絡(luò)模型的注意力模塊方面，假設(shè)輸入特征圖為f＝[f1，...，fc]∈rc，h，w，其中c表示的是通道的數(shù)量，h，w分別表示特征圖的高度和寬度；首先分別由兩條路徑對(duì)輸入特征做一個(gè)全局平均池化和一個(gè)全局最大池化操作，壓縮全局空間信息的同時(shí)獲得兩個(gè)結(jié)果squeezegap∈rc,1,1和squeezegmp∈rc,1,1；然后使用多層感知機(jī)分別激勵(lì)上述結(jié)果，并逐元素相加結(jié)果，在應(yīng)用一個(gè)sigmoid函數(shù)和尺度變換函數(shù)在激勵(lì)后的結(jié)果上獲得權(quán)重圖eweig?ht；最后，以逐像素相乘的方式用權(quán)重圖eweig?ht為輸入特征圖賦權(quán)，得到注意力模塊的結(jié)果outputagc，計(jì)算公式如下：

38、

39、其中，表示逐像素相乘操作，σ表示sigmoid函數(shù)和尺度函數(shù)，mlp表示由一個(gè)隱含層的多層感知器組成的共享網(wǎng)絡(luò)；

40、所述分割網(wǎng)絡(luò)模型的訓(xùn)練更新過(guò)程中，將所述交互數(shù)據(jù)編碼圖、所述預(yù)處理后的水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)以及所述水體圖像特征圖作為輸入，預(yù)測(cè)出地物目標(biāo)的二值掩碼，利用語(yǔ)義標(biāo)簽數(shù)據(jù)集中的目標(biāo)真值更新網(wǎng)絡(luò)參數(shù)，得到水體交互分割模型；

41、訓(xùn)練更新過(guò)程中采用的損失函數(shù)定義如下：

42、loss＝min?lossδ(y,pδ)?(9)，

43、

44、其中，y和pδ分別表示標(biāo)簽真值和帶有參數(shù)δ的預(yù)測(cè)結(jié)果，v表示的是圖像中每一個(gè)像素。

45、更進(jìn)一步地，所述邊界優(yōu)化過(guò)程包括：

46、利用全連接條件隨機(jī)場(chǎng)建立后處理隨機(jī)場(chǎng)模型，根據(jù)水體預(yù)測(cè)模型獲得表示每個(gè)像素被分配為前、背景的概率值的概率圖，將水體遙感影像數(shù)據(jù)送入后處理隨機(jī)場(chǎng)模型中，后處理隨機(jī)場(chǎng)模型包含大量的節(jié)點(diǎn)和邊，水體遙感影像數(shù)據(jù)中的每個(gè)像素都是圖模型中的一個(gè)節(jié)點(diǎn)，鄰接像素的連線即為一條邊，后處理隨機(jī)場(chǎng)模型在給定一組輸入隨機(jī)變量的情況下，輸出另一組隨機(jī)變量的條件概率分布模型，公式定義如下：

47、

48、其中，x，y分別表示輸入圖像和對(duì)應(yīng)的二值圖，n表示的是所有像素的集合，每一個(gè)位置像素的閾值pi為{0,1}，第一部分?jǐn)?shù)據(jù)項(xiàng)函數(shù)φi描述的是分配一個(gè)像素的代價(jià)，第二部分平滑項(xiàng)函數(shù)φii描述的是計(jì)算保持相似像素連通性的代價(jià)，兩個(gè)函數(shù)的定義如下所示：

49、

50、

51、其中，和分別表示由網(wǎng)絡(luò)預(yù)測(cè)像素點(diǎn)i屬于前、背景的概率，δ和k分別表示懲罰函數(shù)和核函數(shù)，fi和fj分別表示像素點(diǎn)i和j在某個(gè)空間中的特征向量；懲罰函數(shù)δ限制能量的傳導(dǎo)，if?pi≠pj，δ(pi,pj)＝0；k表示一個(gè)高斯核函數(shù)，由兩個(gè)權(quán)重參數(shù)約束，采用的高斯核函數(shù)定義如下：

52、

53、其中，w1和w2分別表示約束高斯核函數(shù)的兩個(gè)權(quán)重參數(shù)；函數(shù)第一部分依賴像素點(diǎn)的坐標(biāo)差和和光譜強(qiáng)度差，函數(shù)第二部分僅依賴像素點(diǎn)的坐標(biāo)差，ci和cj分別表示為第i、第j個(gè)像素點(diǎn)的坐標(biāo)；ii和ij分別表示第i、第j個(gè)像素點(diǎn)的光譜強(qiáng)度；參數(shù)θα、θβ、θγ約束這些核函數(shù)信息之間的權(quán)重關(guān)系。

54、本發(fā)明還提出了基于深度學(xué)習(xí)的交互式水體提取系統(tǒng)，包括數(shù)據(jù)獲取模塊、數(shù)據(jù)預(yù)處理模塊、樣本線圖生成模塊、交互數(shù)據(jù)編碼圖生成模塊、圖像特征圖獲取模塊、水體交互分割模型建立模塊、水體數(shù)據(jù)概率圖獲取模塊和水體邊界優(yōu)化模塊。

55、所述數(shù)據(jù)獲取模塊，用于獲取水體樣本數(shù)據(jù)集。

56、所述數(shù)據(jù)預(yù)處理模塊，用于對(duì)水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)進(jìn)行中值濾波預(yù)處理，得到預(yù)處理后的水體樣本數(shù)據(jù)集。

57、所述樣本線圖生成模塊，用于對(duì)所述預(yù)處理后的水體樣本數(shù)據(jù)集中的語(yǔ)義標(biāo)簽數(shù)據(jù)集，基于骨架線提取算法分別生成前景樣本線圖和背景樣本線圖。

58、所述交互數(shù)據(jù)編碼圖生成模塊，用于依據(jù)所述前景樣本線圖和背景樣本線圖，分別作為正、負(fù)樣本點(diǎn)或線，將點(diǎn)或線看作獨(dú)立像素或一組像素集并標(biāo)記為前景或背景，對(duì)用戶交互情況進(jìn)行模擬，生成顧及多種特征的交互數(shù)據(jù)編碼圖。

59、所述水體圖像特征圖獲取模塊，用于依據(jù)預(yù)處理后的水體樣本數(shù)據(jù)集，通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)獲取水體圖像特征圖。

60、所述水體交互分割模型建立模塊，用于將所述預(yù)處理后的水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)、所述交互數(shù)據(jù)編碼圖、以及所述水體圖像特征圖作為分割網(wǎng)絡(luò)模型輸入，對(duì)分割網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練更新得到水體交互分割模型。

61、所述水體數(shù)據(jù)概率圖獲取模塊，用于依據(jù)水體交互分割模型對(duì)高分辨率的水體遙感影像數(shù)據(jù)進(jìn)行水體結(jié)果數(shù)據(jù)提取，得到水體數(shù)據(jù)概率圖。

62、所述水體邊界優(yōu)化模塊，用于依據(jù)所述水體數(shù)據(jù)概率圖，利用全連接條件隨機(jī)場(chǎng)進(jìn)行水體邊界優(yōu)化，并輸出矢量格式的水體矢量結(jié)果，實(shí)現(xiàn)水體提取。

63、本發(fā)明還提出了一種電子設(shè)備，包括：存儲(chǔ)器和處理器，所述存儲(chǔ)器和所述處理器之間互相通信連接，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)指令，所述處理器通過(guò)執(zhí)行所述計(jì)算機(jī)指令，從而實(shí)現(xiàn)如上述所述的基于深度學(xué)習(xí)的交互式水體提取方法。

64、本發(fā)明還提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述所述的基于深度學(xué)習(xí)的交互式水體提取方法。

65、本發(fā)明與現(xiàn)有技術(shù)相比，首先對(duì)水體樣本數(shù)據(jù)集進(jìn)行預(yù)處理，生成前景樣本線圖和背景樣本線圖，并通過(guò)對(duì)用戶交互情況進(jìn)行模擬，生成顧及多種特征的交互數(shù)據(jù)編碼圖，同時(shí)通過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)獲取水體圖像特征圖，并將預(yù)處理后的水體樣本數(shù)據(jù)集中的影像數(shù)據(jù)、交互數(shù)據(jù)編碼圖、水體圖像特征圖作為輸入對(duì)分割網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練更新得到水體交互分割模型，依據(jù)水體交互分割模型即可得到水體數(shù)據(jù)概率圖，并利用全連接條件隨機(jī)場(chǎng)進(jìn)行水體邊界優(yōu)化。本發(fā)明借助用戶先驗(yàn)識(shí)別能力引導(dǎo)水體交互分割模型分割提取水體，降低模型預(yù)測(cè)結(jié)果中的非水體數(shù)據(jù)，利用全連接條件隨機(jī)場(chǎng)對(duì)水體邊界進(jìn)行優(yōu)化，盡量獲得準(zhǔn)確且平滑的水體邊界，減少人工修改邊界的工作量，本發(fā)明可以一次性和高質(zhì)量地自動(dòng)提取地物目標(biāo)，不需要對(duì)預(yù)測(cè)結(jié)果進(jìn)行人工核檢和修正，大大提升了水體提取的效率，生產(chǎn)應(yīng)用中準(zhǔn)確高效，具有很強(qiáng)的實(shí)用性。