本發(fā)明涉及冶金行業(yè)大數(shù)據(jù)采集與信息，具體為一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法。
背景技術(shù)：
1、鋼鐵行業(yè)在生產(chǎn)運(yùn)營(yíng)過(guò)程中，各系統(tǒng)間累積了多主體、多業(yè)務(wù)、多層級(jí)的海量資源數(shù)據(jù)，蘊(yùn)藏巨大的挖掘價(jià)值。但同時(shí)還具有關(guān)聯(lián)性差、集中管控難的痛點(diǎn)。擁有各自的數(shù)據(jù)存儲(chǔ)和訪(fǎng)問(wèn)方式的各類(lèi)應(yīng)用系統(tǒng)，最終將導(dǎo)致“數(shù)據(jù)孤島”現(xiàn)象，數(shù)據(jù)利用率大大下降，工藝、質(zhì)量、生產(chǎn)等反映公司運(yùn)營(yíng)情況的數(shù)據(jù)，缺乏深入挖掘及決策支持，不利于產(chǎn)線(xiàn)生產(chǎn)、質(zhì)量提升。
2、隨著大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展，etl技術(shù)以其高效的集成效率、簡(jiǎn)化接口開(kāi)發(fā)的優(yōu)點(diǎn)為企業(yè)集成多源異構(gòu)數(shù)據(jù)，存儲(chǔ)到企業(yè)大數(shù)據(jù)信息庫(kù)提供了思路。但是存在商用軟件價(jià)格昂貴，使用普及率很低，開(kāi)源免費(fèi)工具又存在系統(tǒng)穩(wěn)定性等方面問(wèn)題。
3、為了實(shí)現(xiàn)企業(yè)級(jí)大數(shù)據(jù)資源融合，深度挖掘數(shù)據(jù)潛在價(jià)值，提升數(shù)據(jù)決策粘合度，需要解決以下問(wèn)題：探索一套數(shù)據(jù)融合方案，實(shí)現(xiàn)對(duì)企業(yè)多源異構(gòu)數(shù)據(jù)的采集，搭建企業(yè)級(jí)信息庫(kù)，深度分析產(chǎn)線(xiàn)生產(chǎn)規(guī)律，為企業(yè)決策提供數(shù)據(jù)支撐，同時(shí)保證數(shù)據(jù)融合技術(shù)方案的穩(wěn)定性、高可用性和數(shù)據(jù)準(zhǔn)確性。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，解決了針對(duì)鋼鐵企業(yè)積累的海量數(shù)據(jù)資源存儲(chǔ)分散，無(wú)法充分挖掘及高效利用的弊端的問(wèn)題，探索多源異構(gòu)數(shù)據(jù)融合，搭建企業(yè)級(jí)大數(shù)據(jù)信息庫(kù)而建立的一種基于etl的數(shù)據(jù)采集可復(fù)用模型的方法。
2、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，通過(guò)搭建etl調(diào)度模塊、etl可執(zhí)行程序模塊和etl反饋評(píng)價(jià)模塊建立數(shù)據(jù)采集可復(fù)用模型，實(shí)現(xiàn)了對(duì)鋼鐵企業(yè)包含生產(chǎn)、工藝、質(zhì)量、物流等多源異構(gòu)數(shù)據(jù)的自動(dòng)采集，建立了企業(yè)級(jí)大數(shù)據(jù)信息庫(kù)，為企業(yè)的精益生產(chǎn)綜合管控提供了數(shù)據(jù)支撐。
3、優(yōu)選的，具體包括以下步驟：
4、步驟s1：搭建etl調(diào)度模塊，依據(jù)不同的業(yè)務(wù)場(chǎng)景及優(yōu)先級(jí)設(shè)置定時(shí)任務(wù)，靈活調(diào)度etl執(zhí)行腳本，觸發(fā)etl可執(zhí)行程序模塊運(yùn)行。
5、步驟s2：建立基于etl的多源異構(gòu)數(shù)據(jù)采集模型，按照數(shù)據(jù)類(lèi)型劃分為結(jié)構(gòu)化數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)，分類(lèi)進(jìn)行數(shù)據(jù)整合，實(shí)現(xiàn)對(duì)源系統(tǒng)到目標(biāo)系統(tǒng)的數(shù)據(jù)采集。
6、步驟s3：建立etl評(píng)價(jià)反饋模型，開(kāi)發(fā)與etl執(zhí)行日志的接口，獲取執(zhí)行日志中標(biāo)識(shí)錯(cuò)誤的信息，定位到數(shù)據(jù)異常的etl任務(wù)、異常原因及異常發(fā)生時(shí)間。
7、優(yōu)選的，所述步驟s1中，其特征在于，針對(duì)etl調(diào)度模塊，建立了數(shù)據(jù)冗余機(jī)制，主備機(jī)調(diào)度任務(wù)通過(guò)設(shè)置啟動(dòng)時(shí)間差以及調(diào)度執(zhí)行狀態(tài)更新，實(shí)現(xiàn)主備機(jī)的負(fù)載均衡。
8、優(yōu)選的，etl調(diào)度模塊的具體實(shí)現(xiàn)步驟為：(1)在orac?l?e數(shù)據(jù)庫(kù)中建立一張etl調(diào)度任務(wù)表，用于對(duì)調(diào)度任務(wù)名稱(chēng)、調(diào)度執(zhí)行時(shí)間、執(zhí)行周期、執(zhí)行狀態(tài)、執(zhí)行路徑等調(diào)度任務(wù)信息進(jìn)行配置；(2)通過(guò)etl調(diào)度任務(wù)配置表中的任務(wù)狀態(tài)0/1的取值標(biāo)識(shí)任務(wù)是否正在執(zhí)行。(3)通過(guò)etl調(diào)度任務(wù)配置表中的調(diào)度執(zhí)行時(shí)間分別記錄主備機(jī)搶占任務(wù)執(zhí)行時(shí)間。(4)依據(jù)定時(shí)任務(wù)設(shè)置邏輯循環(huán)執(zhí)行步驟(2)、(3)中過(guò)程。
9、優(yōu)選的，所述步驟s2中，建立的etl多源異構(gòu)數(shù)據(jù)采集模型，其特征在于，按照結(jié)構(gòu)化數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的不同數(shù)據(jù)類(lèi)型，分別建立相應(yīng)的etl可執(zhí)行程序。結(jié)構(gòu)化數(shù)據(jù)采集模型分為全量數(shù)據(jù)抽取、增量數(shù)據(jù)抽取、關(guān)聯(lián)表增量數(shù)據(jù)抽取三類(lèi)分支，實(shí)時(shí)數(shù)據(jù)模型分為webapi和opc兩類(lèi)分支。
10、優(yōu)選的，建立的etl多源異構(gòu)數(shù)據(jù)采集模型，從不同類(lèi)型的數(shù)據(jù)抽取任務(wù)中抽象出編號(hào)、業(yè)務(wù)線(xiàn)、etl任務(wù)id、子任務(wù)id、源庫(kù)類(lèi)型、數(shù)據(jù)源表、目標(biāo)表、寫(xiě)入模式、任務(wù)描述、時(shí)間參數(shù)等參數(shù)，將配置化參數(shù)寫(xiě)入orac?l?e數(shù)據(jù)庫(kù)中，自動(dòng)實(shí)現(xiàn)整個(gè)etl處理過(guò)程。同一類(lèi)型的etl任務(wù)可通過(guò)同一模型進(jìn)行數(shù)據(jù)采集，方便后期開(kāi)發(fā)。
11、優(yōu)選的，所述步驟s3中，其特征在于編寫(xiě)java程序，建立與etl執(zhí)行日志的接口，獲取日志中的錯(cuò)誤信息，同時(shí)將異常信息反饋到前端界面進(jìn)行展示，并實(shí)現(xiàn)顏色標(biāo)識(shí)。
12、本發(fā)明提供了一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法。
13、具備以下有益效果：
14、1、本發(fā)明提供了一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，通過(guò)對(duì)etl機(jī)理的研究，搭建了一套多源異構(gòu)數(shù)據(jù)采集模型，實(shí)現(xiàn)了對(duì)不同類(lèi)型的數(shù)據(jù)源到目標(biāo)系統(tǒng)的數(shù)據(jù)同步，完成了企業(yè)級(jí)大數(shù)據(jù)的融合。
15、2、本發(fā)明提供了一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，通過(guò)建立與執(zhí)行日志的接口，匹配關(guān)鍵信息實(shí)現(xiàn)對(duì)異常數(shù)據(jù)信息的識(shí)別反饋及評(píng)價(jià)。
16、3、本發(fā)明提供了一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，綜合考慮模型使用過(guò)程中的穩(wěn)定性，建立了數(shù)據(jù)冗余機(jī)制，使數(shù)據(jù)壓力可以分散到不同的服務(wù)器節(jié)點(diǎn)上，提升數(shù)據(jù)同步效率及系統(tǒng)的安全性穩(wěn)定性。
1.一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，其特征在于：通過(guò)搭建etl調(diào)度模塊、etl可執(zhí)行程序模塊和etl反饋評(píng)價(jià)模塊建立數(shù)據(jù)采集可復(fù)用模型，實(shí)現(xiàn)了對(duì)鋼鐵企業(yè)包含生產(chǎn)、工藝、質(zhì)量、物流等多源異構(gòu)數(shù)據(jù)的自動(dòng)采集，建立了企業(yè)級(jí)大數(shù)據(jù)信息庫(kù)，為企業(yè)的精益生產(chǎn)綜合管控提供了數(shù)據(jù)支撐。
2.根據(jù)權(quán)利要求1所述的一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，其特征在于，具體包括以下步驟：
3.根據(jù)權(quán)利要求2所述的一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，其特征在于：所述步驟s1中，其特征在于，針對(duì)etl調(diào)度模塊，建立了數(shù)據(jù)冗余機(jī)制，主備機(jī)調(diào)度任務(wù)通過(guò)設(shè)置啟動(dòng)時(shí)間差以及調(diào)度執(zhí)行狀態(tài)更新，實(shí)現(xiàn)主備機(jī)的負(fù)載均衡。
4.根據(jù)權(quán)利要求3所述的一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，其特征在于：etl調(diào)度模塊的具體實(shí)現(xiàn)步驟為：(1)在oracle數(shù)據(jù)庫(kù)中建立一張etl調(diào)度任務(wù)表，用于對(duì)調(diào)度任務(wù)名稱(chēng)、調(diào)度執(zhí)行時(shí)間、執(zhí)行周期、執(zhí)行狀態(tài)、執(zhí)行路徑等調(diào)度任務(wù)信息進(jìn)行配置；(2)通過(guò)etl調(diào)度任務(wù)配置表中的任務(wù)狀態(tài)0/1的取值標(biāo)識(shí)任務(wù)是否正在執(zhí)行。(3)通過(guò)etl調(diào)度任務(wù)配置表中的調(diào)度執(zhí)行時(shí)間分別記錄主備機(jī)搶占任務(wù)執(zhí)行時(shí)間。(4)依據(jù)定時(shí)任務(wù)設(shè)置邏輯循環(huán)執(zhí)行步驟(2)、(3)中過(guò)程。
5.根據(jù)權(quán)利要求2所述的一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，其特征在于：所述步驟s2中，建立的etl多源異構(gòu)數(shù)據(jù)采集模型，其特征在于，按照結(jié)構(gòu)化數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的不同數(shù)據(jù)類(lèi)型，分別建立相應(yīng)的etl可執(zhí)行程序。結(jié)構(gòu)化數(shù)據(jù)采集模型分為全量數(shù)據(jù)抽取、增量數(shù)據(jù)抽取、關(guān)聯(lián)表增量數(shù)據(jù)抽取三類(lèi)分支，實(shí)時(shí)數(shù)據(jù)模型分為web?api和opc兩類(lèi)分支。
6.根據(jù)權(quán)利要求5所述的一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，其特征在于：建立的etl多源異構(gòu)數(shù)據(jù)采集模型，從不同類(lèi)型的數(shù)據(jù)抽取任務(wù)中抽象出編號(hào)、業(yè)務(wù)線(xiàn)、etl任務(wù)id、子任務(wù)id、源庫(kù)類(lèi)型、數(shù)據(jù)源表、目標(biāo)表、寫(xiě)入模式、任務(wù)描述、時(shí)間參數(shù)等參數(shù)，將配置化參數(shù)寫(xiě)入oracle數(shù)據(jù)庫(kù)中，自動(dòng)實(shí)現(xiàn)整個(gè)etl處理過(guò)程。同一類(lèi)型的etl任務(wù)可通過(guò)同一模型進(jìn)行數(shù)據(jù)采集，方便后期開(kāi)發(fā)。
7.根據(jù)權(quán)利要求2所述的一種基于etl多源異構(gòu)數(shù)據(jù)采集可復(fù)用模型建立的方法，其特征在于：所述步驟s3中，其特征在于編寫(xiě)java程序，建立與etl執(zhí)行日志的接口，獲取日志中的錯(cuò)誤信息，同時(shí)將異常信息反饋到前端界面進(jìn)行展示，并實(shí)現(xiàn)顏色標(biāo)識(shí)。