|
產品概述
在實際的應用中，需要采集的數據來源於其它係統(已經處理或加工過的)並存儲在多個關係型數據庫中。（例如：石油石化行業中，新原油價格及各種重要化工產品價格，原油、石腦油等源材料的進廠量累計，公司本年度的經營目標等，該部分數據分別來源於MES的生產數據庫和計劃係統的計劃數據庫）。基ji於yu此ci類lei情qing況kuang，我wo們men專zhuan門men開kai發fa了le一yi個ge數shu據ju抽chou取qu模mo塊kuai。數shu據ju抽chou取qu模mo塊kuai，將jiang多duo個ge關guan係xi型xing數shu據ju庫ku中zhong的de生sheng產chan數shu據ju按an預yu先xian配pei置zhi的de抽chou取qu策ce略lve實shi時shi抽chou取qu到dao紫zi金jin橋qiao曆li史shi數shu據ju庫ku。
抽取模塊組成:
數據抽取模塊由抽取配置和抽取執行程序兩部分組成。
第一部分數據抽取配置程序。
第二部分數據抽取運行程序。
功能概述：
1、可以與多種關係型數據庫進行鏈接。
2、集中抽取，可以把多個關係庫數據抽取到同一個實時數據庫中。
3、對列的類型進行轉換。
在將源端的表中內容複製到目標端時，可以通過配置條件將指定列（字段）映射到目標端的點參數上。
在將源端的表中內容複製到目標端時，通過配置條件可以增加一個數據列（字段），其值可以是固定值，也可以是表達式，然後映射到目標端的點參數上。
在將源端的表中內容複製到目標端時，通過配置條件可以在執行的結果集中刪除某列（原始表中的列不會被刪除），然後映射到目標端的點參數上。
在將源端的表中內容複製到目標端時，通過配置條件可以將源表中的某個列的類型、長度等等進行轉換。如將Varchar2類型轉換成Int類型等等。
在將源端的表中內容複製到目標端時，根據配置條件將源表的某個列的數據進行轉換。例如將“男”、“女”轉換成“0”、“1”。這種轉換不涉及第三張表，也就是說這種轉換是固定的。
4、自由指定“抽取頻率”和“基準時間”。
5、支持調用關係庫的存儲過程（必須有返回集）。
6、提供清除噪聲數據的功能。
產品架構
數據抽取配置的實現方式采用4層架構：用戶界麵層、業務處理層、傳輸層和數據處理層。
用戶界麵層
用戶界麵層為用戶提供簡潔友好的操作界麵。通過用戶界麵層可以方便的實現數據查看、編輯和維護等操作。用戶界麵層將各項操作指令發送給業務處理層，在收到業務處理的響應後顯示在界麵中。
業務處理層
業務處理層負責接收和處理用戶界麵層的各項操作指令，並將指令的執行結果發送回用戶界麵層。
業務處理層接收到用戶界麵層的指令後，首先對指令進行解析，部分指令直接在業務處理層完成邏輯處理；bufencaozuoxuyaojiangjiexihoudezhilingtongguochuanshucengfasonggeishujuchuliceng，zaishoudaozhixingjieguohoufasonggeiyonghujiemianceng。yewuchulicengtongshiguanlizuzhijigoudegezhongneirong。
傳輸層
傳輸層負責將業務處理層解析後的指令發送給數據處理層，並將數據處理層的信息返回給業務處理層。
chuanshucengtongguolianjieguanlimokuaiyuzhidingshujuyuanjinxingtongxun，tongguoyonghuyanzhengmokuaiyanzhengzhidingshujuyuanyonghuxinxidehefaxing。zaitongxunguochengzhong，chuanshucengtongguoxiaoxiduiliemokuaiheshujuhuancunmokuaitigaotongxunxiaolvhezengqiangxitongwendingxing。
數據處理層
數shu據ju處chu理li層ceng負fu責ze最zui終zhong執zhi行xing操cao作zuo指zhi令ling。在zai接jie收shou到dao操cao作zuo指zhi令ling後hou，數shu據ju處chu理li層ceng與yu實shi時shi數shu據ju庫ku或huo配pei置zhi文wen件jian交jiao互hu，最zui終zhong將jiang指zhi令ling執zhi行xing結jie果guo通tong過guo傳chuan輸shu層ceng返fan回hui給gei業ye務wu處chu理li層ceng。
“ETL數據抽取”程序，抽取過程示意圖
產品特點
數據抽取的特點可以概括為：分布部署、快速實施、維護便捷。
分布式配置：suizhefenbushijishuhefuzaijunhengjishudeguangfanyingyong，yuelaiyueduodeqingkuangxuyaoyuanchengpeizhichouquxinxi。weileshiyingzhezhongbianhua，shujuchouqucongshejizhichujicaiyongfenbushijiagou。tongguoxuanzeshujuyuandefangshi，keyizaibendishujukuxitongwanchengduizhidingshujuyuanzhongchouquxinxidepeizhi。
集中抽取：支持由多個不同種類或相同種類的關係型數據庫數據向同一個實時數據庫抽取。
清除噪聲數據：數據倉庫係統中有可能存在著大量的噪聲數據,引起的主要原因有：濫用縮寫詞、慣用語、數據輸入錯誤、重複記錄、丟失值等。即便是一個設計和規劃良好的數據庫係統，如果其中存在著大量的噪聲數據，那麼這個係統也是沒有任何意義的，因為“垃圾進，垃圾出”（garbage in, garbage out），係統根本就不可能為決策分析係統提供任何支持。為了清除噪聲數據，必須在數據庫係統中進行數據清洗。數據抽取可以通過“匹配項”來完成數據的映射，從而達到清除噪聲數據的目的。
靈活的組織管理：數(shu)據(ju)抽(chou)取(qu)可(ke)以(yi)按(an)照(zhao)需(xu)要(yao)任(ren)意(yi)組(zu)織(zhi)層(ceng)級(ji)關(guan)係(xi)。如(ru)果(guo)發(fa)現(xian)層(ceng)級(ji)關(guan)係(xi)建(jian)立(li)錯(cuo)誤(wu)，或(huo)實(shi)際(ji)層(ceng)級(ji)關(guan)係(xi)發(fa)生(sheng)改(gai)變(bian)時(shi)，現(xian)有(you)的(de)層(ceng)級(ji)並(bing)不(bu)需(xu)要(yao)刪(shan)除(chu)，而(er)是(shi)通(tong)過(guo)簡(jian)單(dan)的(de)剪(jian)切(qie)與(yu)粘(zhan)貼(tie)即(ji)可(ke)完(wan)成(cheng)。
更多資訊，請登錄:www.realsoft.cc
|
