背景技術：
1、環(huán)視系統(tǒng)(svs)為自我機器的乘員提供圍繞自我機器的區(qū)域的可視化。例如，svs向駕駛員和/或乘員提供觀看周圍區(qū)域(包括視線被自我機器的一部分和/或環(huán)境中的其他對象遮擋的盲點)的能力，而無需重新定位(例如，轉動他們的頭部、從他們的座位上抬起、傾向某個方向等)。該可視化可輔助和促進各種駕駛操縱，諸如平滑地進入或離開停車點而不撞擊諸如路緣、行人或其他車輛或動態(tài)對象之類的對象。越來越多的車輛，尤其是豪華品牌和新車型，正在被生產(chǎn)為具有svs能力。
2、現(xiàn)有的svs通常使用魚眼相機(通常安裝在車身的前側、左側、后側和右側)從多個方向感知周圍區(qū)域。在特殊情況下可以包括附加相機，如長卡車或具有拖車的車輛。使用相機參數(shù)對齊幀并且使用混合技術組合重疊區(qū)域以提供水平360°環(huán)視可視化，來將來自各個相機的圖像數(shù)據(jù)的幀拼接在一起。
3、然而，相機的傳感器陣列可以在與人類視覺不同的條件下捕獲光，并且從傳感器數(shù)據(jù)生成的圖像可以以與我們的眼睛感知顏色的方式不同地表示顏色。此外，不同傳感器或適用于相同傳感器類型的不同條件可產(chǎn)生圖像之間看起來不匹配的環(huán)境圖像。在一些情況下，失配的顏色由于環(huán)境的光照特性而出現(xiàn)。例如，如果太陽位于自我車輛的一側，如果自我車輛正在進入停車結構或隧道，或者自我車輛部分地處于陰影中，則自我車輛的一側可暴露于比另一側更多的光，使得更亮側上的相機可產(chǎn)生不同的曝光或使用不同的自動設置，因此可捕獲與另一側上的相機不同的顏色?？赡艹霈F(xiàn)失配顏色的另一種方式是通過圖像處理，其通常被分別應用于圖像數(shù)據(jù)的每個幀，導致不同圖像的不同改變。示例圖像處理可以包括用于改善顏色范圍的伽馬校正、曝光補償、色調映射、降噪、去除壞像素、應用白平衡、應用顏色校正以去除魚眼圖像中的鏡頭陰影偽像和/或其他。然而，因為圖像處理獨立于其他圖像而對每個圖像進行評估和操作，所以圖像處理經(jīng)常導致同一環(huán)境的不同圖像中的失配顏色。
4、用于在同一環(huán)境的不同圖像之間協(xié)調顏色的一種現(xiàn)有技術選擇這些圖像之一作為參考圖像，確定該參考圖像的全局顏色統(tǒng)計，并且將該全局顏色統(tǒng)計遷移(transfer)至其他圖像以使它們的全局顏色統(tǒng)計與該參考圖像的全局顏色統(tǒng)計相匹配。然而，這種技術在協(xié)調顏色方面通常是無效的；例如，當不同的相機看不同的對象或同一對象的不同部分時。應用使用未經(jīng)協(xié)調的相機圖像作為輸入的拼接算法導致在兩個圖像被拼接在一起的接縫處具有明顯的顏色失配的未經(jīng)協(xié)調的拼接圖像，這可以被感知為偽影。因此，常規(guī)技術在拼接圖像的區(qū)域中會生成令人分散注意力的偽影，其對于駕駛員或自主系統(tǒng)安全操縱車輛可能是重要的。因此，需要改進拼接圖像的視覺質量的改進的顏色協(xié)調技術。
技術實現(xiàn)思路
1、本公開的實施例涉及跨多個相機傳感器的顏色協(xié)調。更具體來說，公開了其中將來自圖像數(shù)據(jù)的參考幀的地面投影的顏色統(tǒng)計遷移到圖像數(shù)據(jù)的目標幀的系統(tǒng)和方法。
2、與常規(guī)系統(tǒng)(如以上所描述的那些)相比，參考幀和目標幀的地面投影的一個或更多個顏色統(tǒng)計可以用于協(xié)調參考幀與目標幀之間的顏色。在高級別，可從表示環(huán)境(例如，圍繞諸如自我車輛之類的自我對象的環(huán)境)的重疊視圖的圖像數(shù)據(jù)的幀中識別參考幀和目標幀。參考幀和目標幀可被投影到環(huán)境的地面(例如，地平面)的表示上，這些投影之間的重疊區(qū)域可被識別，并且每個投影的落(land)在重疊區(qū)域中的部分可被視為對應的地面投影。代替在整個參考幀和目標幀上計算顏色統(tǒng)計，可以針對每個地面投影(或其一部分，諸如多數(shù)集群)計算一個或更多個顏色統(tǒng)計(例如，一個或更多個顏色通道的統(tǒng)計矩或屬性)。照此，來自地面投影的顏色統(tǒng)計可用于修改目標幀的顏色以具有與來自參考幀的地面投影的顏色統(tǒng)計相匹配的經(jīng)更新顏色統(tǒng)計。以此方式遷移來自地面投影而非來自整個圖像的顏色統(tǒng)計相比于遷移來自整個圖像的全局顏色統(tǒng)計的現(xiàn)有技術改善了拼接圖像的顏色協(xié)調和視覺質量。
1.一種方法，包括：使用表示自我對象周圍的環(huán)境的重疊視圖的圖像數(shù)據(jù)幀，確定參考幀和目標幀；生成所述參考幀的地面投影；使用所述參考幀的所述地面投影來計算參考顏色統(tǒng)計；以及將所述參考顏色統(tǒng)計從所述參考幀的所述地面投影遷移到所述目標幀。
2.如權利要求1所述的方法，其中確定所述參考幀包括：至少基于以下中的一項或更多項來選擇所述圖像數(shù)據(jù)幀之一：所述自我對象的自我運動的方向、觀察所述環(huán)境的活動視口或所述自我對象的操作者的注視。
3.如權利要求1所述的方法，其中生成所述參考幀的所述地面投影包括：將所述參考幀投影到三維(3d)碗上以生成經(jīng)投影3d碗表示；以及使用與所述環(huán)境的地平面相對應的所述經(jīng)投影3d碗表示的一部分作為所述參考幀的所述地面投影。
4.如權利要求1所述的方法，其中所述參考幀和所述目標幀表示在同一時間切片中的所述環(huán)境的不同視圖，并且將所述參考顏色統(tǒng)計從所述參考幀的所述地面投影遷移到所述目標幀是至少基于確定所述參考幀的所述地面投影與所述目標幀的第二地面投影之間的重疊區(qū)域具有少于或等于閾值數(shù)目的屬于檢測到的對象的像素。
5.如權利要求1所述的方法，其中所述參考幀至少表示來自先前時間切片的所述環(huán)境的一部分，并且所述目標幀至少表示來自后續(xù)時間切片的所述環(huán)境的一部分，以及遷移所述參考顏色統(tǒng)計包括：至少基于確定來自所述后續(xù)時間切片的候選參考幀的第二地面投影與所述目標幀的第三地面投影之間的重疊區(qū)域包括多于閾值數(shù)目或百分比的對應于檢測到的對象的像素，從所述參考幀的所述地面投影遷移所述參考顏色統(tǒng)計。
6.如權利要求1所述的方法，其中從所述參考幀的所述地面投影計算所述參考顏色統(tǒng)計包括：從所述參考幀的所述地面投影的多數(shù)集群計算所述參考顏色統(tǒng)計，以及遷移所述參考顏色統(tǒng)計包括：至少基于確定所述參考幀的所述地面投影與所述目標幀的第二地面投影之間的重疊區(qū)域包括少于閾值數(shù)目或百分比的屬于檢測到的對象的像素，將所述參考顏色統(tǒng)計從所述參考幀的所述地面投影的所述多數(shù)集群遷移到所述目標幀。
7.如權利要求1所述的方法，其中將所述參考顏色統(tǒng)計從所述參考幀的所述地面投影遷移到所述目標幀生成經(jīng)修改的目標幀，并且所述方法進一步包括：至少將所述參考幀和所述經(jīng)修改的目標幀拼接成拼接圖像以及使得至少基于所述拼接圖像呈現(xiàn)可視化。
8.如權利要求1所述的方法，其中所述方法由以下中的至少一項執(zhí)行：用于自主或半自主機器的控制系統(tǒng)；用于自主或半自主機器的感知系統(tǒng)；用于執(zhí)行模擬操作的系統(tǒng)；用于執(zhí)行實時流式傳輸?shù)南到y(tǒng)；用于呈現(xiàn)增強現(xiàn)實內容、虛擬現(xiàn)實內容或混合現(xiàn)實內容中的一個或更多個的系統(tǒng)；用于執(zhí)行數(shù)字孿生操作的系統(tǒng)；用于執(zhí)行深度學習操作的系統(tǒng)；使用邊緣設備實現(xiàn)的系統(tǒng)；使用機器人實現(xiàn)的系統(tǒng)；包含一個或更多個虛擬機(vm)的系統(tǒng)；至少部分地在數(shù)據(jù)中心中實現(xiàn)的系統(tǒng)；用于執(zhí)行光傳輸模擬的系統(tǒng)；用于執(zhí)行3d資產(chǎn)的協(xié)作內容創(chuàng)建的系統(tǒng)；用于生成合成數(shù)據(jù)的系統(tǒng)；或至少部分地使用云計算資源實現(xiàn)的系統(tǒng)。
9.一種處理器，包括：一個或更多個處理單元，所述一個或更多個處理單元用于：確定參考幀和目標幀；以及使用所述參考幀的第一地面投影和所述目標幀的第二地面投影將參考顏色統(tǒng)計從所述參考幀的所述第一地面投影遷移到所述目標幀。
10.如權利要求9所述的處理器，其中所述參考幀和所述目標幀是使用設置在環(huán)境中的自我對象上的相機生成的，并且所述一個或更多個處理單元進一步用于至少基于以下中的一項或更多項確定所述參考幀：所述自我對象的自我運動的方向、觀察所述環(huán)境的活動視口或所述自我對象的操作者的注視。
11.如權利要求9所述的處理器，其中所述一個或更多個處理單元進一步用于：至少基于將所述參考幀投影到三維(3d)碗上以生成經(jīng)投影3d碗表示以及將與地平面相對應的所述經(jīng)投影3d碗表示的一部分用作所述參考幀的所述第一地面投影，來生成所述參考幀的所述第一地面投影。
12.如權利要求9所述的處理器，其中所述參考幀和所述目標幀表示在同一時間切片中的環(huán)境的不同視圖，并且所述一個或更多個處理單元進一步用于：至少基于確定所述參考幀的所述第一地面投影與所述目標幀的所述第二地面投影之間的重疊區(qū)域不包括任何檢測到的對象來將所述參考顏色統(tǒng)計從所述參考幀的所述第一地面投影遷移到所述目標幀。
13.如權利要求9所述的處理器，其中所述參考幀表示先前時間切片，并且所述目標幀表示后續(xù)時間切片，并且所述一個或更多個處理單元進一步用于：基于確定來自所述后續(xù)時間切片的候選參考幀的第三地面投影與所述目標幀的所述第二地面投影之間的重疊區(qū)域包括多于閾值數(shù)目或百分比的屬于檢測到的對象的像素，從來自所述先前時間切片的所述參考幀遷移所述參考顏色統(tǒng)計。
14.如權利要求9所述的處理器，所述一個或更多個處理單元進一步用于：基于確定所述參考幀的所述第一地面投影與所述目標幀的所述第二地面投影之間的重疊區(qū)域包括少于閾值數(shù)目或百分比的屬于檢測到的對象的像素，確定將所述參考顏色統(tǒng)計從所述參考幀的多數(shù)集群遷移到所述目標幀。
15.如權利要求9所述的處理器，其中所述處理器被包括在以下中的至少一項中：用于自主或半自主機器的控制系統(tǒng)；用于自主或半自主機器的感知系統(tǒng)；用于執(zhí)行模擬操作的系統(tǒng)；用于執(zhí)行數(shù)字孿生操作的系統(tǒng)；用于執(zhí)行深度學習操作的系統(tǒng)；用于執(zhí)行實時流式傳輸?shù)南到y(tǒng)；用于呈現(xiàn)增強現(xiàn)實內容、虛擬現(xiàn)實內容或混合現(xiàn)實內容中的一個或更多個的系統(tǒng)；使用邊緣設備實現(xiàn)的系統(tǒng)；使用機器人實現(xiàn)的系統(tǒng)；包含一個或更多個虛擬機(vm)的系統(tǒng)；至少部分地在數(shù)據(jù)中心中實現(xiàn)的系統(tǒng)；用于執(zhí)行光傳輸模擬的系統(tǒng)；用于執(zhí)行3d資產(chǎn)的協(xié)作內容創(chuàng)建的系統(tǒng)；用于生成合成數(shù)據(jù)的系統(tǒng)；或至少部分地使用云計算資源實現(xiàn)的系統(tǒng)。
16.一種系統(tǒng)，包括：一個或更多個處理單元，所述一個或更多個處理單元用于：識別環(huán)境的參考圖像和目標圖像；生成所述參考圖像的地面投影；從所述參考圖像的所述地面投影計算參考顏色統(tǒng)計；以及修改所述目標圖像的一個或更多個顏色以與來自所述參考圖像的所述地面投影的所述參考顏色統(tǒng)計相對應。
17.如權利要求16所述的系統(tǒng)，其中所述參考圖像和所述目標圖像表示同一時間切片中的所述環(huán)境的不同視圖，并且所述一個或更多個處理單元進一步用于：基于確定所述參考圖像的所述地面投影與所述目標圖像的第二地面投影之間的重疊區(qū)域具有少于或等于閾值數(shù)目的屬于檢測到的對象的像素，將所述目標圖像的所述顏色修改為與來自所述參考圖像的所述地面投影的所述參考顏色統(tǒng)計相對應。
18.如權利要求16所述的系統(tǒng)，其中所述參考圖像表示來自先前時間切片的所述環(huán)境，并且所述目標圖像表示來自后續(xù)時間切片的所述環(huán)境，以及所述一個或更多個處理單元進一步用于：基于確定來自所述后續(xù)時間切片的候選參考圖像的第二地面投影與所述目標圖像的第三地面投影之間的重疊區(qū)域包括多于閾值數(shù)目或百分比的屬于檢測到的對象的像素，將所述目標圖像的所述顏色修改為與來自所述先前時間切片的所述參考圖像的所述地面投影的所述參考顏色統(tǒng)計相對應。
19.如權利要求16所述的系統(tǒng)，其中從所述參考圖像的所述地面投影計算所述參考顏色統(tǒng)計包括：從所述參考圖像的所述地面投影的多數(shù)集群計算所述參考顏色統(tǒng)計，以及所述一個或更多個處理單元進一步用于：基于確定所述參考圖像的所述地面投影與所述目標圖像的第二地面投影之間的重疊區(qū)域包括少于閾值數(shù)目或百分比的屬于檢測到的對象的像素，將所述目標圖像的所述顏色修改為與來自所述參考圖像的所述地面投影的所述多數(shù)集群的所述參考顏色統(tǒng)計相對應。
20.如權利要求16所述的系統(tǒng)，其中所述系統(tǒng)被包括在以下中的至少一項中：用于自主或半自主機器的控制系統(tǒng)；用于自主或半自主機器的感知系統(tǒng)；用于執(zhí)行模擬操作的系統(tǒng)；用于執(zhí)行數(shù)字孿生操作的系統(tǒng)；用于執(zhí)行深度學習操作的系統(tǒng)；用于執(zhí)行實時流式傳輸?shù)南到y(tǒng)；用于呈現(xiàn)增強現(xiàn)實內容、虛擬現(xiàn)實內容或混合現(xiàn)實內容中的一個或更多個的系統(tǒng)；使用邊緣設備實現(xiàn)的系統(tǒng)；使用機器人實現(xiàn)的系統(tǒng)；包含一個或更多個虛擬機(vm)的系統(tǒng)；至少部分地在數(shù)據(jù)中心中實現(xiàn)的系統(tǒng)；用于執(zhí)行光傳輸模擬的系統(tǒng)；用于執(zhí)行3d資產(chǎn)的協(xié)作內容創(chuàng)建的系統(tǒng)；用于生成合成數(shù)據(jù)的系統(tǒng)；或至少部分地使用云計算資源實現(xiàn)的系統(tǒng)。