一種實時數(shù)據(jù)處理分析系統(tǒng)

1.一種實時數(shù)據(jù)處理分析系統(tǒng)，其特征在于，所述分析系統(tǒng)包含：生產(chǎn)單元、數(shù)據(jù)采集單元、實時數(shù)據(jù)庫、數(shù)據(jù)抽取單元和關(guān)系數(shù)據(jù)庫；
所述數(shù)據(jù)采集單元與所述生產(chǎn)單元相連，用于采集所述生產(chǎn)單元的實時數(shù)據(jù)并發(fā)送；
所述實時數(shù)據(jù)庫與所述數(shù)據(jù)采集單元相連，用于接收所述數(shù)據(jù)采集單元發(fā)送的實時數(shù)據(jù)并存儲；
所述數(shù)據(jù)抽取單元與所述實時數(shù)據(jù)庫相連，用于讀取所述實時數(shù)據(jù)庫中的實時數(shù)據(jù)并統(tǒng)計，將統(tǒng)計結(jié)果轉(zhuǎn)換后發(fā)送；所述數(shù)據(jù)抽取單元包含：客戶端與分布式服務(wù)端；
所述關(guān)系數(shù)據(jù)庫與所述數(shù)據(jù)抽取單元相連，用于接收所述統(tǒng)計結(jié)果，并將統(tǒng)計結(jié)果與對應(yīng)的所述數(shù)據(jù)采集單元關(guān)聯(lián)保存；
所述分布式服務(wù)端的控制方法包含：所述分布式服務(wù)端包含主線程和從線程；
主線程接收客戶端的數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)及相關(guān)配置文件；
主線程根據(jù)客戶端配置文件，創(chuàng)建從線程；
主線程分析獲得每個從線程處理的檢測生產(chǎn)單元ID范圍；
主線程啟動從線程，并將檢測生產(chǎn)單元ID范圍傳輸至從線程，從線程完成實時數(shù)據(jù)抽取轉(zhuǎn)換的任務(wù)；
主線程循環(huán)等待各從線程完成數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)的反饋信息；
主線程統(tǒng)計完成所有生產(chǎn)單元實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)后，將完成結(jié)果反饋給客戶端從線程；
完成一個服務(wù)周期，服務(wù)端主線程循環(huán)等待下一次任務(wù)分配。
2.根據(jù)權(quán)利要求1所述的實時數(shù)據(jù)處理分析系統(tǒng)，其特征在于，所述實時數(shù)據(jù)庫與所述數(shù)據(jù)采集單元通過光纖連接或無線連接。
3.根據(jù)權(quán)利要求1所述的實時數(shù)據(jù)處理分析系統(tǒng)，其特征在于，所述客戶端用于：獲取所述生產(chǎn)單元數(shù)量；
檢測分布式服務(wù)端數(shù)量；
根據(jù)分布式服務(wù)端數(shù)量，創(chuàng)建客戶端從線程，所述客戶端從線程與對應(yīng)的服務(wù)端通信；
計算每個服務(wù)端轉(zhuǎn)化的實時數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的實時數(shù)據(jù)處理分析系統(tǒng)，其特征在于，所述客戶端的控制方法包含：所述客戶端包含主線程和從線程；
主線程根據(jù)配置文件，啟動物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)周期；
主線程統(tǒng)計所有監(jiān)測生產(chǎn)單元ID；
主線程根據(jù)配置文件，測試服務(wù)端通信接口，統(tǒng)計可用的分布式服務(wù)端地址和數(shù)量；
主線程根據(jù)分布式服務(wù)端數(shù)量，按照公式計算分配給每個服務(wù)端的檢測生產(chǎn)單元ID范圍；
主線程循環(huán)等待各個從線程對服務(wù)端的任務(wù)完成情況的反饋，直到所有檢測生產(chǎn)單元的實時數(shù)據(jù)完成抽取和轉(zhuǎn)化；
完成一個客戶端任務(wù)周期，主線程按照配置，啟動下一個物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)。
5.根據(jù)權(quán)利要求4所述的實時數(shù)據(jù)處理分析系統(tǒng)，其特征在于，所述客戶端的控制方法還包含：主線程根據(jù)可用服務(wù)端數(shù)量，生成從線程；
從線程根據(jù)主線程的配置，與對應(yīng)的服務(wù)端通信；
從線程把檢測生產(chǎn)單元ID范圍發(fā)送給對應(yīng)的服務(wù)端；
從線程循環(huán)等待服務(wù)端任務(wù)結(jié)束的反饋信息；
從線程將服務(wù)端任務(wù)完成情況反饋給主線程。
6.根據(jù)權(quán)利要求1所述的實時數(shù)據(jù)處理分析系統(tǒng)，其特征在于，所述分布式服務(wù)端用于：接收客戶端從線程的檢測生產(chǎn)單元范圍信息；
根據(jù)檢測單元范圍及配置文件，創(chuàng)建服務(wù)端從線程；
服務(wù)端從線程根據(jù)檢測單元范圍，逐個統(tǒng)計實時數(shù)據(jù)庫中生產(chǎn)單元對應(yīng)的實時數(shù)據(jù)，對所述實時數(shù)據(jù)進行轉(zhuǎn)換，并將轉(zhuǎn)換結(jié)果插入關(guān)系型數(shù)據(jù)庫。
7.根據(jù)權(quán)利要求1所述的實時數(shù)據(jù)處理分析系統(tǒng)，其特征在于，所述控制方法還包含：
從線程根據(jù)主線程的配置文件，從關(guān)系數(shù)據(jù)庫查詢生產(chǎn)檢測單元的實時數(shù)據(jù)庫標簽；
從線程根據(jù)實時數(shù)據(jù)庫標簽查詢實時數(shù)據(jù)庫，讀取實時數(shù)據(jù)；
從線程根據(jù)設(shè)定的數(shù)據(jù)轉(zhuǎn)換規(guī)則靜態(tài)算法，計算出分析后的值；
從線程將獲得實時數(shù)據(jù)與關(guān)系數(shù)據(jù)庫中實時數(shù)據(jù)進行比對，如從線程將獲得實時數(shù)據(jù)與關(guān)系數(shù)據(jù)庫中實時數(shù)據(jù)不同，則將獲得實時數(shù)據(jù)更新至關(guān)系數(shù)據(jù)庫中；
從線程迭代完成下一個生產(chǎn)單元的實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)，直到完成所有檢測單元的數(shù)據(jù)轉(zhuǎn)換任務(wù)。
8.根據(jù)權(quán)利要求1所述的實時數(shù)據(jù)處理分析系統(tǒng)，其特征在于，所述分析系統(tǒng)還包含一物聯(lián)網(wǎng)應(yīng)用單元，用于根據(jù)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)，提供所述生產(chǎn)單元的數(shù)據(jù)統(tǒng)計信息。

一種實時數(shù)據(jù)處理分析系統(tǒng)\n技術(shù)領(lǐng)域\n[0001] 本發(fā)明涉及物聯(lián)網(wǎng)大數(shù)據(jù)實時處理領(lǐng)域，特別涉及一種油田生產(chǎn)現(xiàn)場的物聯(lián)網(wǎng)實時數(shù)據(jù)處理分析系統(tǒng)。\n背景技術(shù)\n[0002] 在物聯(lián)網(wǎng)環(huán)境中，采集層傳感器產(chǎn)生大量實時數(shù)據(jù)，這些數(shù)據(jù)通常包含時間、位置、采集信息等內(nèi)容,具有明顯的顆粒性特征，由于油氣生產(chǎn)現(xiàn)場部署的傳感器的多元化、差異化以及環(huán)境的多樣化，這些數(shù)據(jù)呈現(xiàn)出異構(gòu)性、多樣性、非結(jié)構(gòu)化、有噪聲、高增長率等特征.物聯(lián)網(wǎng)技術(shù)的應(yīng)用涉及物聯(lián)網(wǎng)實時大數(shù)據(jù)處理，所產(chǎn)生的數(shù)據(jù)量之密集、實時性之強是前所未有的,需要進行實時、高效的計算分析。物聯(lián)設(shè)備采集的數(shù)據(jù)種類眾多，數(shù)據(jù)量大，而且需要實時處理，對處理系統(tǒng)性能要求嚴格。所有這些凸顯物聯(lián)網(wǎng)實時數(shù)據(jù)抽取模型的重要性。例如，在油田生產(chǎn)現(xiàn)場采集數(shù)據(jù)的溫度傳感器、壓力變送器、流量計、有毒有害氣體傳感器、RTU以及其他傳感設(shè)備采集的大量實時數(shù)據(jù)，將通過物聯(lián)網(wǎng)的有線或者無線傳輸設(shè)備，上傳至應(yīng)用層的實時數(shù)據(jù)庫進行匯集，根據(jù)現(xiàn)場采集設(shè)備的數(shù)量和采集頻率估算，實時數(shù)據(jù)庫需要處理十萬級至百萬級數(shù)據(jù)插入的并發(fā)操作，應(yīng)用系統(tǒng)需要對這些實時數(shù)據(jù)加以分析利用，來對生產(chǎn)單元當時的生產(chǎn)狀態(tài)進行判斷、統(tǒng)計，幫助系統(tǒng)用戶了解實時生產(chǎn)情況。由于實時數(shù)據(jù)量大、實時性高，普通的應(yīng)用系統(tǒng)無法及時處理實時數(shù)據(jù)，或者處理起來很慢，達不到實時監(jiān)視生產(chǎn)單元狀態(tài)、統(tǒng)計生產(chǎn)情況的效果，這勢必影響正常的生產(chǎn)運行，采用先進的物聯(lián)網(wǎng)實時數(shù)據(jù)抽取模型處理分析實時數(shù)據(jù)，是提高物聯(lián)網(wǎng)應(yīng)用效果的一種必然的技術(shù)發(fā)展方向。\n發(fā)明內(nèi)容\n[0003] 本發(fā)明的目的是為了解決物聯(lián)網(wǎng)系統(tǒng)中產(chǎn)生的大量實時數(shù)據(jù)的抽取分析等問題，為物聯(lián)網(wǎng)應(yīng)用提供高性能解決方案，尤其是生產(chǎn)單元實時狀態(tài)以及生產(chǎn)情況統(tǒng)計的應(yīng)用，針對這些問題提出一種物聯(lián)網(wǎng)實時數(shù)據(jù)抽取模型，并為實現(xiàn)該目的提出一種實時數(shù)據(jù)處理分析系統(tǒng)。\n[0004] 本發(fā)明所提供的實時數(shù)據(jù)處理分析系統(tǒng)，具體包含：生產(chǎn)單元、數(shù)據(jù)采集單元、實時數(shù)據(jù)庫、數(shù)據(jù)抽取單元和關(guān)系數(shù)據(jù)庫；所述數(shù)據(jù)采集單元與所述生產(chǎn)單元相連，用于采集所述生產(chǎn)單元的實時數(shù)據(jù)并發(fā)送；所述實時數(shù)據(jù)庫與所述數(shù)據(jù)采集單元相連，用于接收所述數(shù)據(jù)采集單元發(fā)送的實時數(shù)據(jù)并存儲；所述數(shù)據(jù)抽取單元與所述實時數(shù)據(jù)庫相連，用于讀取所述實時數(shù)據(jù)庫中的實時數(shù)據(jù)并統(tǒng)計，將統(tǒng)計結(jié)果轉(zhuǎn)換后發(fā)送；所述關(guān)系數(shù)據(jù)庫與所述數(shù)據(jù)抽取單元相連，用于接收所述統(tǒng)計結(jié)果，并將統(tǒng)計結(jié)果與對應(yīng)的所述數(shù)據(jù)采集單元關(guān)聯(lián)保存。\n[0005] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述實時數(shù)據(jù)庫與所述數(shù)據(jù)采集單元通過光纖連接或無線連接。\n[0006] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述數(shù)據(jù)抽取單元包含：客戶端與分布式服務(wù)端。\n[0007] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述客戶端用于：獲取所述生產(chǎn)單元數(shù)量；檢測分布式服務(wù)端數(shù)量；根據(jù)分布式服務(wù)端數(shù)量，創(chuàng)建客戶端從線程，所述客戶端從線程與對應(yīng)的服務(wù)端通信；計算每個服務(wù)端轉(zhuǎn)化的實時數(shù)據(jù)。\n[0008] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述客戶端的控制方法包含：所述客戶端包含主線程和從線程；主線程根據(jù)配置文件，啟動物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)周期；主線程統(tǒng)計所有監(jiān)測生產(chǎn)單元ID；主線程根據(jù)配置文件，測試服務(wù)端通信接口，統(tǒng)計可用的分布式服務(wù)端地址和數(shù)量；主線程根據(jù)分布式服務(wù)端數(shù)量，按照公式計算分配給每個服務(wù)端的檢測生產(chǎn)單元ID范圍；主線程循環(huán)等待各個從線程對服務(wù)端的任務(wù)完成情況的反饋，直到所有檢測生產(chǎn)單元的實時數(shù)據(jù)完成抽取和轉(zhuǎn)化；完成一個客戶端任務(wù)周期，主線程按照配置，啟動下一個物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)。\n[0009] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述控制方法還包含：主線程根據(jù)可用服務(wù)端數(shù)量，生成從線程；從線程根據(jù)主線程的配置，與對應(yīng)的服務(wù)端通信；從線程把檢測生產(chǎn)單元ID范圍發(fā)送給對應(yīng)的服務(wù)端；從線程循環(huán)等待服務(wù)端任務(wù)結(jié)束的反饋信息；從線程將服務(wù)端任務(wù)完成情況反饋給主線程。\n[0010] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分布式服務(wù)端用于：接收客戶端從線程的檢測生產(chǎn)單元范圍信息；根據(jù)檢測單元范圍及配置文件，創(chuàng)建服務(wù)端從線程；服務(wù)端從線程根據(jù)檢測單元范圍，逐個統(tǒng)計實時數(shù)據(jù)庫中生產(chǎn)單元對應(yīng)的實時數(shù)據(jù)，對所述實時數(shù)據(jù)進行轉(zhuǎn)換，并將轉(zhuǎn)換結(jié)果插入關(guān)系型數(shù)據(jù)庫。\n[0011] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分布式服務(wù)端的控制方法包含：所述分布式服務(wù)端包含主線程和從線程；主線程接收客戶端的數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)及相關(guān)配置文件；\n主線程根據(jù)客戶端配置文件，創(chuàng)建從線程；主線程分析獲得每個從線程處理的檢測生產(chǎn)單元ID范圍；主線程啟動從線程，并將檢測生產(chǎn)單元ID范圍傳輸至從線程，從線程完成實時數(shù)據(jù)抽取轉(zhuǎn)換的任務(wù)；主線程循環(huán)等待各從線程完成數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)的反饋信息；主線程統(tǒng)計完成所有生產(chǎn)單元實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)后，將完成結(jié)果反饋給客戶端從線程；完成一個服務(wù)周期，服務(wù)端主線程循環(huán)等待下一次任務(wù)分配。\n[0012] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述控制方法還包含：從線程根據(jù)主線程的配置文件，從關(guān)系數(shù)據(jù)庫查詢生產(chǎn)檢測單元的實時數(shù)據(jù)庫標簽；從線程根據(jù)實時數(shù)據(jù)庫標簽查詢實時數(shù)據(jù)庫，讀取實時數(shù)據(jù)；從線程根據(jù)設(shè)定的數(shù)據(jù)轉(zhuǎn)換規(guī)則靜態(tài)算法，計算出分析后的值；從線程將獲得實時數(shù)據(jù)與關(guān)系數(shù)據(jù)庫中實時數(shù)據(jù)進行比對，如從線程將獲得實時數(shù)據(jù)與關(guān)系數(shù)據(jù)庫中實時數(shù)據(jù)不同，則將獲得實時數(shù)據(jù)更新至關(guān)系數(shù)據(jù)庫中；從線程迭代完成下一個生產(chǎn)單元的實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)，直到完成所有檢測單元的數(shù)據(jù)轉(zhuǎn)換任務(wù)。\n[0013] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分析系統(tǒng)還包含一物聯(lián)網(wǎng)應(yīng)用單元，用于根據(jù)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)，提供所述生產(chǎn)單元的數(shù)據(jù)統(tǒng)計信息。\n[0014] 本發(fā)明的有益技術(shù)效果在于：根據(jù)實時數(shù)據(jù)庫數(shù)據(jù)，借助實時數(shù)據(jù)抽取模型，在后臺對實時數(shù)據(jù)進行轉(zhuǎn)換，并把轉(zhuǎn)換結(jié)果保存在關(guān)系型數(shù)據(jù)庫中，物聯(lián)網(wǎng)應(yīng)用則訪問關(guān)系型數(shù)據(jù)庫即可獲得檢測生產(chǎn)單元的狀態(tài)以及生產(chǎn)統(tǒng)計信息，避免了物聯(lián)網(wǎng)應(yīng)用直接訪問實時數(shù)據(jù)庫帶來的性能問題，同時，實現(xiàn)了實時數(shù)據(jù)自動轉(zhuǎn)化成關(guān)系數(shù)據(jù)的任務(wù)，提高了物聯(lián)網(wǎng)應(yīng)用對于實時數(shù)據(jù)的利用程度，提高了應(yīng)用系統(tǒng)的響應(yīng)速度。\n附圖說明\n[0015] 為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見的，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。\n[0016] 圖1為本發(fā)明提出的物聯(lián)網(wǎng)實時數(shù)據(jù)處理分析系統(tǒng)示意圖；\n[0017] 圖2為本發(fā)明提出物聯(lián)網(wǎng)實時數(shù)據(jù)處理分析系統(tǒng)中數(shù)據(jù)抽取單元的客戶端、服務(wù)端工作原理示意圖；\n具體實施方式\n[0018] 下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。\n[0019] 請參考圖1所示，圖1為本發(fā)明所提供的實時數(shù)據(jù)處理分析系統(tǒng)，具體包含：生產(chǎn)單元、數(shù)據(jù)采集單元、實時數(shù)據(jù)庫、數(shù)據(jù)抽取單元和關(guān)系數(shù)據(jù)庫；所述數(shù)據(jù)采集單元與所述生產(chǎn)單元相連，用于采集所述生產(chǎn)單元的實時數(shù)據(jù)并發(fā)送；所述實時數(shù)據(jù)庫與所述數(shù)據(jù)采集單元相連，用于接收所述數(shù)據(jù)采集單元發(fā)送的實時數(shù)據(jù)并存儲；所述數(shù)據(jù)抽取單元與所述實時數(shù)據(jù)庫相連，用于讀取所述實時數(shù)據(jù)庫中的實時數(shù)據(jù)并統(tǒng)計，將統(tǒng)計結(jié)果轉(zhuǎn)換后發(fā)送；\n所述關(guān)系數(shù)據(jù)庫與所述數(shù)據(jù)抽取單元相連，用于接收所述統(tǒng)計結(jié)果，并將統(tǒng)計結(jié)果與對應(yīng)的所述數(shù)據(jù)采集單元關(guān)聯(lián)保存。\n[0020] 在上述分析系統(tǒng)中，實時數(shù)據(jù)庫匯集物聯(lián)網(wǎng)采集層實時采集的各個生產(chǎn)單元數(shù)據(jù)；實時數(shù)據(jù)抽取單元訪問實時數(shù)據(jù)庫，并按照轉(zhuǎn)換規(guī)則，將實時數(shù)據(jù)進行分析和統(tǒng)計，并產(chǎn)生結(jié)果數(shù)據(jù)；實時數(shù)據(jù)抽取單元將結(jié)果數(shù)據(jù)插入關(guān)系數(shù)據(jù)庫；物聯(lián)網(wǎng)應(yīng)用根據(jù)轉(zhuǎn)換的關(guān)系數(shù)據(jù)庫提供轉(zhuǎn)換數(shù)據(jù)給終端用戶。在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述實時數(shù)據(jù)庫與所述數(shù)據(jù)采集單元通過光纖連接或無線連接。\n[0021] 在上述實施例中，所述的生產(chǎn)單元包括抽油機井、螺桿泵井、電潛泵井、注入井、采氣井、計量間、注配間、中轉(zhuǎn)站、聯(lián)合站等。\n[0022] 數(shù)據(jù)采集單元包括：溫度傳感器、壓力變送器、流量計、有毒有害氣體傳感器、RTU以及其他傳感設(shè)備。\n[0023] 實時數(shù)據(jù)庫：物聯(lián)網(wǎng)中，用于匯集數(shù)據(jù)采集傳感設(shè)備采集的實時數(shù)據(jù)，并為數(shù)據(jù)抽取模型提供數(shù)據(jù)源；\n[0024] 數(shù)據(jù)抽取單元：包括客戶端、服務(wù)端兩個部分。為保證物聯(lián)網(wǎng)實時數(shù)據(jù)抽取單元的處理效率，數(shù)據(jù)抽取單元采用分布式多線程的程序架構(gòu)。程序分為數(shù)據(jù)轉(zhuǎn)換服務(wù)端和控制客戶端，控制客戶端使用RMI(遠程方法調(diào)用)通過socket連接數(shù)據(jù)服務(wù)端，數(shù)據(jù)轉(zhuǎn)換服務(wù)端執(zhí)行實時數(shù)據(jù)讀取和轉(zhuǎn)換?？蛻舳丝赏ㄟ^xml配置所需調(diào)用的一個或多個服務(wù)端。服務(wù)端可在一臺或多臺機器上部署。在一臺機器上部署多個服務(wù)端可通過調(diào)用不同的端口來實現(xiàn)。\n[0025] 客戶端：統(tǒng)計生產(chǎn)監(jiān)控單元數(shù)量；檢測可用分布式服務(wù)端數(shù)量；根據(jù)可用分布式服務(wù)端數(shù)量，產(chǎn)生客戶端從線程，與對應(yīng)的服務(wù)端通信；按照公式計算每個服務(wù)端轉(zhuǎn)化的檢測單元實時數(shù)據(jù)。\n[0026] 服務(wù)端：接收客戶端從線程的檢測單元范圍、核心連接池數(shù)量信息；根據(jù)檢測單元范圍及配置信息，按照公式產(chǎn)生服務(wù)端從線程；服務(wù)端從線程根據(jù)檢測單元范圍，逐個統(tǒng)計生產(chǎn)單元實時數(shù)據(jù)庫數(shù)據(jù)信息，按照公共轉(zhuǎn)換算法進行數(shù)據(jù)轉(zhuǎn)換，并把轉(zhuǎn)換結(jié)果插入關(guān)系型數(shù)據(jù)庫。\n[0027] 物聯(lián)網(wǎng)應(yīng)用：根據(jù)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)，為用戶提供生產(chǎn)數(shù)據(jù)統(tǒng)計信息等。\n[0028] 上述技術(shù)方案具有如下有益效果：根據(jù)實時數(shù)據(jù)庫數(shù)據(jù)，借助實時數(shù)據(jù)抽取模型，在后臺對實時數(shù)據(jù)進行轉(zhuǎn)換，并把轉(zhuǎn)換結(jié)果保存在關(guān)系型數(shù)據(jù)庫中，物聯(lián)網(wǎng)應(yīng)用則訪問關(guān)系型數(shù)據(jù)庫即可獲得檢測生產(chǎn)單元的狀態(tài)以及生產(chǎn)統(tǒng)計信息，避免了物聯(lián)網(wǎng)應(yīng)用直接訪問實時數(shù)據(jù)庫帶來的性能問題。\n[0029] 請參考圖2所示，在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述數(shù)據(jù)抽取單元包含：客戶端與分布式服務(wù)端。\n[0030] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述客戶端用于：獲取所述生產(chǎn)單元數(shù)量；檢測分布式服務(wù)端數(shù)量；根據(jù)分布式服務(wù)端數(shù)量，創(chuàng)建客戶端從線程，所述客戶端從線程與對應(yīng)的服務(wù)端通信；計算每個服務(wù)端轉(zhuǎn)化的實時數(shù)據(jù)。\n[0031] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述客戶端的控制方法包含：所述客戶端包含主線程和從線程；主線程根據(jù)配置文件，啟動物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)周期；主線程統(tǒng)計所有監(jiān)測生產(chǎn)單元ID；主線程根據(jù)配置文件，測試服務(wù)端通信接口，統(tǒng)計可用的分布式服務(wù)端地址和數(shù)量；主線程根據(jù)分布式服務(wù)端數(shù)量，按照公式計算分配給每個服務(wù)端的檢測生產(chǎn)單元ID范圍；主線程循環(huán)等待各個從線程對服務(wù)端的任務(wù)完成情況的反饋，直到所有檢測生產(chǎn)單元的實時數(shù)據(jù)完成抽取和轉(zhuǎn)化；完成一個客戶端任務(wù)周期，主線程按照配置，啟動下一個物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)。\n[0032] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述控制方法還包含：主線程根據(jù)可用服務(wù)端數(shù)量，生成從線程；從線程根據(jù)主線程的配置，與對應(yīng)的服務(wù)端通信；從線程把檢測生產(chǎn)單元ID范圍發(fā)送給對應(yīng)的服務(wù)端；從線程循環(huán)等待服務(wù)端任務(wù)結(jié)束的反饋信息；從線程將服務(wù)端任務(wù)完成情況反饋給主線程。\n[0033] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分布式服務(wù)端用于：接收客戶端從線程的檢測生產(chǎn)單元范圍信息；根據(jù)檢測單元范圍及配置文件，創(chuàng)建服務(wù)端從線程；服務(wù)端從線程根據(jù)檢測單元范圍，逐個統(tǒng)計實時數(shù)據(jù)庫中生產(chǎn)單元對應(yīng)的實時數(shù)據(jù)，對所述實時數(shù)據(jù)進行轉(zhuǎn)換，并將轉(zhuǎn)換結(jié)果插入關(guān)系型數(shù)據(jù)庫。\n[0034] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分布式服務(wù)端的控制方法包含：所述分布式服務(wù)端包含主線程和從線程；主線程接收客戶端的數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)及相關(guān)配置文件；\n主線程根據(jù)客戶端配置文件，創(chuàng)建從線程；主線程分析獲得每個從線程處理的檢測生產(chǎn)單元ID范圍；主線程啟動從線程，并將檢測生產(chǎn)單元ID范圍傳輸至從線程，從線程完成實時數(shù)據(jù)抽取轉(zhuǎn)換的任務(wù)；主線程循環(huán)等待各從線程完成數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)的反饋信息；主線程統(tǒng)計完成所有生產(chǎn)單元實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)后，將完成結(jié)果反饋給客戶端從線程；完成一個服務(wù)周期，服務(wù)端主線程循環(huán)等待下一次任務(wù)分配。\n[0035] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述控制方法還包含：從線程根據(jù)主線程的配置文件，從關(guān)系數(shù)據(jù)庫查詢生產(chǎn)檢測單元的實時數(shù)據(jù)庫標簽；從線程根據(jù)實時數(shù)據(jù)庫標簽查詢實時數(shù)據(jù)庫，讀取實時數(shù)據(jù)；從線程根據(jù)設(shè)定的數(shù)據(jù)轉(zhuǎn)換規(guī)則靜態(tài)算法，計算出分析后的值；從線程將獲得實時數(shù)據(jù)與關(guān)系數(shù)據(jù)庫中實時數(shù)據(jù)進行比對，如從線程將獲得實時數(shù)據(jù)與關(guān)系數(shù)據(jù)庫中實時數(shù)據(jù)不同，則將獲得實時數(shù)據(jù)更新至關(guān)系數(shù)據(jù)庫中；從線程迭代完成下一個生產(chǎn)單元的實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)，直到完成所有檢測單元的數(shù)據(jù)轉(zhuǎn)換任務(wù)。\n[0036] 在上述實時數(shù)據(jù)處理分析系統(tǒng)中，所述分析系統(tǒng)還包含一物聯(lián)網(wǎng)應(yīng)用單元，用于根據(jù)關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)，提供所述生產(chǎn)單元的數(shù)據(jù)統(tǒng)計信息。\n[0037] 在本發(fā)明所提供的實時數(shù)據(jù)處理分析系統(tǒng)中，數(shù)據(jù)抽取單元的詳細處理流程如下：如圖2所示，實時數(shù)據(jù)抽取單元采用分布式實現(xiàn)方式。分為客戶端控制程序和數(shù)據(jù)轉(zhuǎn)換服務(wù)端程序。\n[0038] 客戶端控制模型分為主線程和從線程兩個部分，下面是其工作流程。\n[0039] 主線程根據(jù)配置，啟動物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)周期；\n[0040] 主線程統(tǒng)計所有監(jiān)測生產(chǎn)單元ID；\n[0041] 主線程根據(jù)配置文件，測試服務(wù)端通信接口，統(tǒng)計可用的分布式服務(wù)端地址和數(shù)量；\n[0042] 主線程根據(jù)可用服務(wù)端數(shù)量，按照公式計算分配給每個服務(wù)端的檢測生產(chǎn)單元ID范圍；\n[0043] 主線程循環(huán)等待各個從線程對服務(wù)端的任務(wù)完成情況的反饋，直到所有檢測生產(chǎn)單元的實時數(shù)據(jù)完成抽取和轉(zhuǎn)化，主線程根據(jù)可用服務(wù)端數(shù)量，生成從線程，從線程生成以后，工作流程如下：\n[0044] 從線程根據(jù)主線程的配置，與對應(yīng)的服務(wù)端通信；\n[0045] 從線程把檢測生產(chǎn)單元ID范圍發(fā)送給對應(yīng)的服務(wù)端；\n[0046] 從線程循環(huán)等待服務(wù)端任務(wù)結(jié)束的反饋信息；\n[0047] 從線程將服務(wù)端任務(wù)完成情況反饋給主線程。\n[0048] 完成一個客戶端任務(wù)周期，主線程按照配置，啟動下一個物聯(lián)網(wǎng)實時數(shù)據(jù)抽取任務(wù)。\n[0049] 數(shù)據(jù)轉(zhuǎn)換服務(wù)端屬于分布式部署，即一個客戶端可能分配轉(zhuǎn)換任務(wù)給若干個服務(wù)端完成，達到并發(fā)計算的效果。一個服務(wù)端控制模型也分為主線程和從線程兩個部分。下面是服務(wù)端工作流程。\n[0050] 服務(wù)端啟動后，主線程循環(huán)等待對應(yīng)的客戶端從線程的任務(wù)下達；\n[0051] 服務(wù)端主線程接收客戶端的數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)及相關(guān)配置信息；\n[0052] 主線程根據(jù)客戶端配置信息，計算需要啟動的從線程數(shù)量；\n[0053] 主線程根據(jù)公式，計算每個從線程處理的檢測生產(chǎn)單元ID范圍；\n[0054] 主線程啟動從線程，并將檢測生產(chǎn)單元ID范圍等告知從線程，由從線程完成實時數(shù)據(jù)抽取轉(zhuǎn)換的任務(wù)；\n[0055] 主線程循環(huán)等待各從線程完成數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)的反饋信息，下面是從線程的工作流程：\n[0056] 從線程根據(jù)主線程的配置，從關(guān)系數(shù)據(jù)庫查詢生產(chǎn)檢測單元的實時數(shù)據(jù)庫標簽；\n[0057] 從線程根據(jù)實時數(shù)據(jù)庫標簽查詢實時數(shù)據(jù)庫，讀取實時數(shù)據(jù)；\n[0058] 從線程根據(jù)設(shè)定的數(shù)據(jù)轉(zhuǎn)換規(guī)則靜態(tài)算法，計算出分析后的值；\n[0059] 從線程將比對關(guān)系數(shù)據(jù)庫中，生產(chǎn)單元的當前狀態(tài)，如果已發(fā)生變化，則修改生產(chǎn)單元狀態(tài)，否則保持不變；\n[0060] 從線程迭代完成下一個生產(chǎn)單元的實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)，直到完成所有檢測單元的數(shù)據(jù)轉(zhuǎn)換任務(wù)。\n[0061] 主線程統(tǒng)計完成所有生產(chǎn)單元實時數(shù)據(jù)抽取轉(zhuǎn)換任務(wù)后，將完成結(jié)果反饋給客戶端從線程；\n[0062] 完成一個服務(wù)周期，服務(wù)端主線程循環(huán)等待下一次任務(wù)分配。\n[0063] 物聯(lián)網(wǎng)應(yīng)用系統(tǒng)直接訪問關(guān)系數(shù)據(jù)庫，查看轉(zhuǎn)換之后的數(shù)據(jù)。\n[0064] 上述僅用以說明本發(fā)明而并非限制本發(fā)明所描述的技術(shù)方案；盡管本說明書對本發(fā)明已進行了詳細的說明，但是，本領(lǐng)域的技術(shù)人員仍然可以對本發(fā)明進行修改或等同替換，一切不脫離本發(fā)明的精神和范圍的技術(shù)方案及其改進，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍中。