本發(fā)明涉及數(shù)據(jù)處理，尤其是涉及一種多源異構(gòu)電力數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)：

1、隨著智能電網(wǎng)和能源互聯(lián)網(wǎng)的快速發(fā)展，電力系統(tǒng)相關(guān)的數(shù)據(jù)規(guī)模呈指數(shù)級(jí)增長(zhǎng)，涵蓋發(fā)電、輸電、用電及設(shè)備監(jiān)測(cè)等多維度信息。

2、在現(xiàn)有技術(shù)中，僅是單純地將電力系統(tǒng)相關(guān)的數(shù)據(jù)存儲(chǔ)于固定位置處，例如存儲(chǔ)于核心計(jì)算節(jié)點(diǎn)，而不會(huì)對(duì)其進(jìn)行任何其他操作。但是，一方面，在高峰時(shí)段，高負(fù)荷節(jié)點(diǎn)需同時(shí)處理實(shí)時(shí)監(jiān)控、用戶請(qǐng)求及數(shù)據(jù)分析任務(wù)，導(dǎo)致存儲(chǔ)訪問延遲增加2-3個(gè)數(shù)量級(jí)，實(shí)驗(yàn)數(shù)據(jù)表明，當(dāng)節(jié)點(diǎn)cpu使用率超過85%時(shí)，數(shù)據(jù)調(diào)用失敗率可達(dá)34.7%，不利于電力數(shù)據(jù)的調(diào)用；另一方面，電力數(shù)據(jù)涉及敏感信息，如用戶用電行為、設(shè)備運(yùn)行狀態(tài)等，現(xiàn)有技術(shù)會(huì)引發(fā)嚴(yán)重的隱私泄露問題，不利于對(duì)電力數(shù)據(jù)的安全有效管理。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種多源異構(gòu)電力數(shù)據(jù)處理方法及系統(tǒng)，通過設(shè)計(jì)完善的多源異構(gòu)電力數(shù)據(jù)處理流程，將分散的數(shù)據(jù)進(jìn)行精細(xì)化管理，發(fā)送至對(duì)應(yīng)的邊緣節(jié)點(diǎn)進(jìn)行存儲(chǔ)，不僅能夠提高對(duì)電力數(shù)據(jù)的調(diào)用效果，而且通過相關(guān)的加密算法滿足對(duì)電力數(shù)據(jù)的保密需求，推進(jìn)了對(duì)多源異構(gòu)電力數(shù)據(jù)處理的智能化進(jìn)程。

2、為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種多源異構(gòu)電力數(shù)據(jù)處理方法，包括：

3、對(duì)目標(biāo)電網(wǎng)中的各個(gè)分散存儲(chǔ)的電力用戶原始數(shù)據(jù)進(jìn)行加密，得到初始加密數(shù)據(jù)；

4、去除所述初始加密數(shù)據(jù)中的非電力關(guān)聯(lián)數(shù)據(jù)，得到分布式數(shù)據(jù)集；

5、將所述分布式數(shù)據(jù)集劃分為若干數(shù)量的數(shù)據(jù)子集，并將每一所述數(shù)據(jù)子集分配至對(duì)應(yīng)的邊緣節(jié)點(diǎn)中，其中，所述邊緣節(jié)點(diǎn)由所述目標(biāo)電網(wǎng)的拓?fù)涔?jié)點(diǎn)信息和通信時(shí)延矩陣信息確定得到；

6、得到每一所述邊緣節(jié)點(diǎn)中的隱私數(shù)據(jù)，其中，所述隱私數(shù)據(jù)通過將對(duì)應(yīng)的所述數(shù)據(jù)子集輸入至構(gòu)建的局部模型中得到，所述局部模型被設(shè)計(jì)為通過隱私預(yù)算分配機(jī)制動(dòng)態(tài)調(diào)整引入的噪聲強(qiáng)度；

7、根據(jù)所述目標(biāo)電網(wǎng)的異構(gòu)性調(diào)整對(duì)每一所述隱私數(shù)據(jù)的加密方案；

8、響應(yīng)于電力數(shù)據(jù)獲取指令，在滿足安全條件下執(zhí)行與所述加密方案相適配的解密方案并輸出對(duì)應(yīng)的所述隱私數(shù)據(jù)。

9、作為其中一種優(yōu)選方案，所述對(duì)目標(biāo)電網(wǎng)中的各個(gè)分散存儲(chǔ)的電力用戶原始數(shù)據(jù)進(jìn)行加密，得到初始加密數(shù)據(jù)，包括：

10、提取各個(gè)分散存儲(chǔ)的電力用戶原始數(shù)據(jù)，并對(duì)所述電力用戶原始數(shù)據(jù)中的數(shù)據(jù)來源字段進(jìn)行校驗(yàn)；

11、通過從預(yù)設(shè)的訪問策略文件中讀取對(duì)應(yīng)的訪問規(guī)則得到標(biāo)識(shí)符，并使用rsa算法生成與校驗(yàn)通過的所述電力用戶原始數(shù)據(jù)相匹配的加密密鑰；

12、基于aes加密算法和所述加密密鑰對(duì)校驗(yàn)通過的所述電力用戶原始數(shù)據(jù)進(jìn)行加密處理，得到數(shù)據(jù)塊；

13、對(duì)所述標(biāo)識(shí)符和所述數(shù)據(jù)塊進(jìn)行關(guān)聯(lián)，得到所述初始加密數(shù)據(jù)。

14、作為其中一種優(yōu)選方案，所述非電力關(guān)聯(lián)數(shù)據(jù)至少包括用戶身份信息；

15、所述去除所述初始加密數(shù)據(jù)中的非電力關(guān)聯(lián)數(shù)據(jù)，得到分布式數(shù)據(jù)集，包括：

16、采用k-means聚類算法去除所述初始加密數(shù)據(jù)中的所述用戶身份信息，至少得到用電量數(shù)據(jù)、負(fù)荷率數(shù)據(jù)和峰谷差數(shù)據(jù)；

17、基于3σ準(zhǔn)則依次剔除所述用電量數(shù)據(jù)、所述負(fù)荷率數(shù)據(jù)和所述峰谷差數(shù)據(jù)中的異常數(shù)據(jù)；

18、以剔除結(jié)果構(gòu)建所述分布式數(shù)據(jù)集。

19、作為其中一種優(yōu)選方案，在將所述分布式數(shù)據(jù)集劃分為若干數(shù)量的數(shù)據(jù)子集前，所述方法還包括：

20、從所述目標(biāo)電網(wǎng)的電力系統(tǒng)數(shù)據(jù)庫(kù)中獲取物理拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)，所述物理拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)至少包括節(jié)點(diǎn)數(shù)據(jù)和連接關(guān)系數(shù)據(jù)；

21、對(duì)所述目標(biāo)電網(wǎng)的通信網(wǎng)絡(luò)進(jìn)行時(shí)延測(cè)試，基于得到的通信開銷量化結(jié)果構(gòu)建時(shí)延矩陣信息；

22、基于節(jié)點(diǎn)選擇算法對(duì)所述物理拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)和所述時(shí)延矩陣信息進(jìn)行處理，得到各個(gè)邊緣節(jié)點(diǎn)。

23、作為其中一種優(yōu)選方案，所述得到每一所述邊緣節(jié)點(diǎn)中的隱私數(shù)據(jù)，包括：

24、基于由預(yù)設(shè)的隱私預(yù)算值確定的噪聲尺度參數(shù)和本地樣本數(shù)據(jù)，生成滿足差分隱私的擾動(dòng)數(shù)據(jù)；

25、以所述擾動(dòng)數(shù)據(jù)訓(xùn)練得到初始局部模型；

26、采用差分隱私驗(yàn)證工具對(duì)所述初始局部模型的初始模型參數(shù)進(jìn)行驗(yàn)證，并基于驗(yàn)證結(jié)果動(dòng)態(tài)調(diào)整所述初始模型參數(shù)，以得到滿足預(yù)設(shè)的局部模型；

27、以所述局部模型得到每一所述邊緣節(jié)點(diǎn)中的隱私數(shù)據(jù)。

28、作為其中一種優(yōu)選方案，所述根據(jù)所述目標(biāo)電網(wǎng)的異構(gòu)性調(diào)整對(duì)每一所述隱私數(shù)據(jù)的加密方案，包括：

29、將從每一所述邊緣節(jié)點(diǎn)中獲取的所述局部模型對(duì)應(yīng)的模型參數(shù)輸入到paillier同態(tài)加密算法中，得到當(dāng)前所述邊緣節(jié)點(diǎn)的加密模型參數(shù)；

30、根據(jù)所述邊緣節(jié)點(diǎn)的層級(jí)信息設(shè)計(jì)自適應(yīng)的參數(shù)聚合策略，至少對(duì)所述加密模型參數(shù)進(jìn)行參數(shù)壓縮；

31、采用paillier同態(tài)加密算法對(duì)壓縮結(jié)果進(jìn)行處理，生成每一所述隱私數(shù)據(jù)的加密方案。

32、作為其中一種優(yōu)選方案，所述隱私數(shù)據(jù)的類型至少包括控制指令類數(shù)據(jù)、設(shè)備狀態(tài)類數(shù)據(jù)和監(jiān)控日志類數(shù)據(jù)；所述加密方案至少包括第一加密方案、第二加密方案和第三加密方案；

33、所述第一加密方案包括采用國(guó)密sm4/aes-256加密，并基于橢圓曲線的數(shù)字簽名；所述第二加密方案包括采用輕量級(jí)流加密；所述第三加密方案包括對(duì)日志文件頭部嵌入密鑰派生參數(shù)。

34、作為其中一種優(yōu)選方案，采用區(qū)塊鏈技術(shù)圍繞所述電力數(shù)據(jù)獲取指令生成審計(jì)日志；

35、通過sha256哈希算法對(duì)所述審計(jì)日志中的操作記錄進(jìn)行處理，生成并存儲(chǔ)對(duì)應(yīng)的唯一標(biāo)識(shí)符；

36、根據(jù)所述唯一標(biāo)識(shí)符，判斷數(shù)據(jù)獲取進(jìn)程是否符合預(yù)設(shè)規(guī)則，其中，所述預(yù)設(shè)規(guī)則至少包括數(shù)據(jù)訪問權(quán)限和計(jì)算合規(guī)性；

37、若符合所述預(yù)設(shè)規(guī)則，則判斷所述安全條件得到滿足。

38、作為其中一種優(yōu)選方案，所述方法還包括：

39、若所述安全條件未得到滿足，則采用knn算法分析對(duì)應(yīng)的所述審計(jì)日志中的異常操作行為，并生成可疑行為報(bào)告；

40、根據(jù)所述可疑行為報(bào)告確定待隔離數(shù)據(jù)，并對(duì)所述待隔離數(shù)據(jù)進(jìn)行二次加密。

41、本發(fā)明另一實(shí)施例提供了一種多源異構(gòu)電力數(shù)據(jù)處理系統(tǒng)，包括：

42、加密模塊，用于對(duì)目標(biāo)電網(wǎng)中的各個(gè)分散存儲(chǔ)的電力用戶原始數(shù)據(jù)進(jìn)行加密，得到初始加密數(shù)據(jù)；

43、去除模塊，用于去除所述初始加密數(shù)據(jù)中的非電力關(guān)聯(lián)數(shù)據(jù)，得到分布式數(shù)據(jù)集；

44、劃分模塊，用于將所述分布式數(shù)據(jù)集劃分為若干數(shù)量的數(shù)據(jù)子集，并將每一所述數(shù)據(jù)子集分配至對(duì)應(yīng)的邊緣節(jié)點(diǎn)中，其中，所述邊緣節(jié)點(diǎn)由所述目標(biāo)電網(wǎng)的拓?fù)涔?jié)點(diǎn)信息和通信時(shí)延矩陣信息確定得到；

45、隱私模塊，用于得到每一所述邊緣節(jié)點(diǎn)中的隱私數(shù)據(jù)，其中，所述隱私數(shù)據(jù)通過將對(duì)應(yīng)的所述數(shù)據(jù)子集輸入至構(gòu)建的局部模型中得到，所述局部模型被設(shè)計(jì)為通過隱私預(yù)算分配機(jī)制動(dòng)態(tài)調(diào)整引入的噪聲強(qiáng)度；

46、加密方案模塊，用于根據(jù)所述目標(biāo)電網(wǎng)的異構(gòu)性調(diào)整對(duì)每一所述隱私數(shù)據(jù)的加密方案；

47、輸出模塊，用于響應(yīng)于電力數(shù)據(jù)獲取指令，在滿足安全條件下執(zhí)行與所述加密方案相適配的解密方案并輸出對(duì)應(yīng)的所述隱私數(shù)據(jù)。

48、相比于現(xiàn)有技術(shù)，本發(fā)明實(shí)施例的有益效果在于以下所述中的至少一點(diǎn)：

49、不同于現(xiàn)有技術(shù)對(duì)電力數(shù)據(jù)不采取任何操作，本方案針對(duì)電力數(shù)據(jù)的流程設(shè)計(jì)了完善的管理方法，一方面，將分散存儲(chǔ)的數(shù)據(jù)存儲(chǔ)于低負(fù)荷的邊緣節(jié)點(diǎn)處，不僅能夠降低數(shù)據(jù)存儲(chǔ)的負(fù)荷壓力，而且能夠提高在調(diào)用數(shù)據(jù)時(shí)的速率和準(zhǔn)確率，另一方面，針對(duì)電網(wǎng)核心數(shù)據(jù)進(jìn)行隱私加密，在滿足安全條件時(shí)進(jìn)行解密，從而提高了電力數(shù)據(jù)的安全性和隱私性。整個(gè)流程從數(shù)據(jù)的源頭出發(fā)，通過合理的方法步驟，將數(shù)據(jù)加密滲透至對(duì)多源異構(gòu)電力數(shù)據(jù)處理的每一環(huán)節(jié)（例如，存儲(chǔ)于邊緣節(jié)點(diǎn)的隱私數(shù)據(jù)就是由初始的原始數(shù)據(jù)加密處理得到，且引入了噪聲強(qiáng)度調(diào)整環(huán)節(jié)），多重的加密環(huán)節(jié)能夠有效避免隱私泄露，此外，加密的方法步驟可以解除數(shù)據(jù)存儲(chǔ)位置的限制，通過將加密后的數(shù)據(jù)存儲(chǔ)于邊緣節(jié)點(diǎn)，核心節(jié)點(diǎn)的存儲(chǔ)負(fù)荷可降低60-80%，這對(duì)于新時(shí)代下的分布式電網(wǎng)系統(tǒng)而言，整體負(fù)荷會(huì)大大降低，進(jìn)而實(shí)現(xiàn)了多源異構(gòu)電力數(shù)據(jù)處理的安全性與效率的協(xié)同提升，推進(jìn)了對(duì)多源異構(gòu)電力數(shù)據(jù)處理的智能化進(jìn)程。