本發(fā)明涉及計(jì)算機(jī)視覺(jué)和人工智能，具體為基于光電混合計(jì)算架構(gòu)的圖像分類方法及系統(tǒng)。

背景技術(shù)：

1、圖像分類是一種基于圖像特征識(shí)別的技術(shù)，它利用計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)的方法，將輸入的圖像分為不同的類別或標(biāo)簽，在安防監(jiān)控、自動(dòng)駕駛、金融支付等多個(gè)領(lǐng)域具有廣泛的應(yīng)用前景。隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（convolutional?neuralnetwork,?cnn）成為主流的圖像分類方法之一。卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多層卷積運(yùn)算和池化操作提取圖像特征，并利用全連接層進(jìn)行分類，具有自適應(yīng)學(xué)習(xí)能力、高效的特征提取能力和較強(qiáng)的泛化能力，大幅提升了圖像分類的準(zhǔn)確性和計(jì)算效率。

2、在卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展過(guò)程中，研究人員提出了多種改進(jìn)結(jié)構(gòu)，以提升分類性能。例如，殘差網(wǎng)絡(luò)（residual?network,?resnet）通過(guò)引入殘差學(xué)習(xí)和跳躍連接，緩解了深度網(wǎng)絡(luò)訓(xùn)練中的梯度消失和退化問(wèn)題，使得更深層的網(wǎng)絡(luò)能夠穩(wěn)定訓(xùn)練，并在多個(gè)計(jì)算機(jī)視覺(jué)任務(wù)中展現(xiàn)出優(yōu)異的性能。然而，隨著網(wǎng)絡(luò)深度的增加，計(jì)算復(fù)雜度顯著提升，使得訓(xùn)練和推理過(guò)程需要消耗大量的計(jì)算資源，計(jì)算時(shí)間變長(zhǎng)，能耗增加，限制了其在資源受限場(chǎng)景下的應(yīng)用。

3、目前，深度學(xué)習(xí)模型主要依賴于電子計(jì)算芯片進(jìn)行計(jì)算，但電子芯片的性能受限于摩爾定律的放緩，傳統(tǒng)電子計(jì)算架構(gòu)在計(jì)算速度、功耗和帶寬方面逐漸遇到瓶頸，難以滿足大規(guī)模數(shù)據(jù)處理的需求。因此，如何在保證計(jì)算精度的同時(shí)，降低計(jì)算負(fù)擔(dān)，提高計(jì)算效率，成為深度學(xué)習(xí)領(lǐng)域亟待解決的問(wèn)題。

4、光計(jì)算芯片作為一種基于光子學(xué)原理的新型計(jì)算硬件，為突破電子計(jì)算的瓶頸提供了新的解決方案。光計(jì)算芯片利用光子作為信息載體，通過(guò)光學(xué)器件（如光調(diào)制器、光電探測(cè)器、光源等）進(jìn)行計(jì)算，相較于傳統(tǒng)電子計(jì)算方式，光計(jì)算具備高速傳輸、低能耗、高帶寬和抗干擾能力強(qiáng)等優(yōu)勢(shì)。近年來(lái)，基于衍射神經(jīng)網(wǎng)絡(luò)（diffractive?neural?network,dnn）的光計(jì)算方法受到廣泛關(guān)注，衍射神經(jīng)網(wǎng)絡(luò)通過(guò)光的干涉和衍射效應(yīng)模擬生物神經(jīng)網(wǎng)絡(luò)的信息處理過(guò)程，實(shí)現(xiàn)無(wú)能耗的并行計(jì)算。該方法利用光學(xué)元件（如透鏡、衍射光柵等）對(duì)輸入光場(chǎng)進(jìn)行傅里葉變換、卷積等數(shù)學(xué)運(yùn)算，并最終通過(guò)光電探測(cè)器將計(jì)算結(jié)果轉(zhuǎn)換為電信號(hào)。然而，全光計(jì)算系統(tǒng)在實(shí)際應(yīng)用中仍然存在諸多挑戰(zhàn)，例如缺乏非線性計(jì)算能力、存儲(chǔ)單元受限等問(wèn)題，使得其獨(dú)立應(yīng)用于復(fù)雜深度學(xué)習(xí)任務(wù)時(shí)存在較大的局限性。

5、基于此，研究者們開始探索光計(jì)算與電子計(jì)算結(jié)合的混合計(jì)算架構(gòu)，以充分利用光計(jì)算的高速、低能耗優(yōu)勢(shì)，同時(shí)結(jié)合電子計(jì)算的高精度和存儲(chǔ)能力，以突破傳統(tǒng)計(jì)算架構(gòu)的性能瓶頸。光電混合計(jì)算架構(gòu)已逐步成為計(jì)算硬件發(fā)展的重要方向，并在計(jì)算機(jī)視覺(jué)、模式識(shí)別等領(lǐng)域展現(xiàn)出良好的應(yīng)用潛力。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于光電混合計(jì)算架構(gòu)的圖像分類方法及系統(tǒng)，解決了現(xiàn)有電子計(jì)算架構(gòu)在深度神經(jīng)網(wǎng)絡(luò)計(jì)算中的高計(jì)算量、高能耗和計(jì)算速度受限的問(wèn)題。

2、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：基于光電混合計(jì)算架構(gòu)的圖像分類方法，包括以下步驟：

3、將輸入圖像進(jìn)行上采樣操作，以符合光學(xué)衍射網(wǎng)絡(luò)的輸入要求；

4、使用光學(xué)衍射網(wǎng)絡(luò)對(duì)上采樣后的圖像進(jìn)行光學(xué)衍射計(jì)算，得到光學(xué)特征；

5、將光學(xué)特征轉(zhuǎn)化為電信號(hào)，并輸入至電子神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提??；

6、在電子神經(jīng)網(wǎng)絡(luò)中使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，并輸出圖像分類結(jié)果。

7、優(yōu)選的，所述上采樣操作采用基于“area”插值的上采樣方法，所述上采樣方法通過(guò)對(duì)輸入圖像進(jìn)行區(qū)域插值，計(jì)算每個(gè)像素點(diǎn)的鄰域平均值，從而生成與原圖像大小匹配的上采樣圖像。

8、優(yōu)選的，所述光學(xué)衍射計(jì)算的步驟包括：

9、對(duì)上采樣后的圖像進(jìn)行傅里葉變換，將圖像從空間域轉(zhuǎn)換為頻域表示；

10、對(duì)頻域信息應(yīng)用角譜傳遞函數(shù)，通過(guò)逐元素乘法操作對(duì)頻域信號(hào)的相位和振幅進(jìn)行調(diào)制；

11、對(duì)調(diào)制后的頻域信號(hào)進(jìn)行逆傅里葉變換，將頻域信號(hào)恢復(fù)為空間域的圖像特征。

12、優(yōu)選的，所述角譜傳遞函數(shù)為預(yù)設(shè)的角譜濾波函數(shù)，其根據(jù)輸入圖像的頻域特征，針對(duì)不同的振幅和相位信息進(jìn)行加權(quán)，調(diào)節(jié)頻域信號(hào)的傳播特性，從而增強(qiáng)或抑制特定頻率成分，得到調(diào)制后的頻域信號(hào)。

13、優(yōu)選的，所述電子神經(jīng)網(wǎng)絡(luò)使用深度卷積神經(jīng)網(wǎng)絡(luò)resnet50進(jìn)行特征提取。

14、優(yōu)選的，所述卷積神經(jīng)網(wǎng)絡(luò)resnet50包括多個(gè)殘差模塊，每個(gè)殘差模塊由至少兩層卷積層組成，并通過(guò)跳躍連接將輸入信號(hào)與輸出信號(hào)相加。

15、優(yōu)選的，所述方法還包括：基于圖像分類結(jié)果計(jì)算損失并進(jìn)行模型訓(xùn)練。

16、優(yōu)選的，所述計(jì)算損失的步驟采用交叉熵?fù)p失函數(shù)，該損失函數(shù)根據(jù)圖像分類結(jié)果的預(yù)測(cè)概率與真實(shí)標(biāo)簽之間的差異計(jì)算損失值，其中，所述預(yù)測(cè)概率通過(guò)對(duì)網(wǎng)絡(luò)輸出進(jìn)行softmax激活得到，交叉熵?fù)p失函數(shù)通過(guò)對(duì)每個(gè)類別的預(yù)測(cè)概率取對(duì)數(shù)并與真實(shí)標(biāo)簽進(jìn)行乘法操作，最終計(jì)算整個(gè)數(shù)據(jù)集的總損失。

17、優(yōu)選的，所述基于圖像分類結(jié)果計(jì)算損失并進(jìn)行模型訓(xùn)練，具體包括以下步驟：

18、將電子神經(jīng)網(wǎng)絡(luò)輸出的預(yù)測(cè)類別與真實(shí)標(biāo)簽進(jìn)行比較，計(jì)算交叉熵?fù)p失；

19、通過(guò)反向傳播算法，根據(jù)損失值計(jì)算梯度；

20、使用優(yōu)化算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行更新，以最小化損失函數(shù)，從而優(yōu)化圖像分類模型。

21、本發(fā)明還提供基于光電混合計(jì)算架構(gòu)的圖像分類系統(tǒng)，包括：

22、數(shù)據(jù)輸入模塊，用于接收輸入圖像并對(duì)其進(jìn)行上采樣操作，以符合光學(xué)衍射網(wǎng)絡(luò)的輸入要求；

23、光學(xué)衍射計(jì)算模塊，用于對(duì)上采樣后的圖像進(jìn)行光學(xué)衍射計(jì)算，得到光學(xué)特征；

24、光電轉(zhuǎn)換模塊，用于將光學(xué)特征轉(zhuǎn)化為電信號(hào)并傳遞給電子神經(jīng)網(wǎng)絡(luò)；

25、電子神經(jīng)網(wǎng)絡(luò)模塊，用于接收光電轉(zhuǎn)換后的電信號(hào)，并使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，輸出圖像分類結(jié)果；

26、損失計(jì)算與優(yōu)化模塊，用于根據(jù)圖像分類結(jié)果計(jì)算損失，并通過(guò)優(yōu)化算法更新電子神經(jīng)網(wǎng)絡(luò)的參數(shù)，從而優(yōu)化圖像分類模型。

27、本發(fā)明提供了基于光電混合計(jì)算架構(gòu)的圖像分類方法及系統(tǒng)。具備以下有益效果：

28、1、本發(fā)明通過(guò)光學(xué)衍射計(jì)算實(shí)現(xiàn)部分特征提取，相比純電子計(jì)算架構(gòu)減少了大量矩陣運(yùn)算的計(jì)算負(fù)擔(dān)。由于光學(xué)計(jì)算的并行處理能力強(qiáng)且無(wú)需額外能耗，系統(tǒng)整體計(jì)算效率得到提升，同時(shí)降低了電子計(jì)算部分的功耗，使得該方法在高效能計(jì)算任務(wù)中具有較大的優(yōu)勢(shì)。

29、2、本發(fā)明光學(xué)衍射計(jì)算能夠提取高維空間信息，并結(jié)合電子神經(jīng)網(wǎng)絡(luò)進(jìn)行深度特征學(xué)習(xí)，使得圖像分類任務(wù)兼具光學(xué)計(jì)算的高分辨特性和深度學(xué)習(xí)的強(qiáng)表達(dá)能力。

30、3、傳統(tǒng)電子計(jì)算在處理高維度、大規(guī)模數(shù)據(jù)時(shí)容易受到存儲(chǔ)帶寬和計(jì)算資源的限制。本發(fā)明創(chuàng)新性地引入光學(xué)計(jì)算作為預(yù)處理手段，減少了電子計(jì)算部分的計(jì)算量，從而突破了傳統(tǒng)電子計(jì)算架構(gòu)的計(jì)算瓶頸，為大規(guī)模圖像分類任務(wù)提供了一種新的解決方案。

31、4、本發(fā)明的光電混合計(jì)算架構(gòu)可以無(wú)縫對(duì)接現(xiàn)有的深度學(xué)習(xí)框架，電子神經(jīng)網(wǎng)絡(luò)部分可采用標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)（cnn）架構(gòu)，并結(jié)合主流優(yōu)化算法進(jìn)行訓(xùn)練。這種兼容性使得本系統(tǒng)可以快速集成到現(xiàn)有的ai推理平臺(tái)，并適用于不同應(yīng)用場(chǎng)景，如醫(yī)學(xué)影像分析、目標(biāo)檢測(cè)和遙感圖像分類等。