巨龍信息大數(shù)據(jù)集成系統(tǒng)是一款基于分布式并行計算架構(gòu)開發(fā)的ETL數(shù)據(jù)集成系統(tǒng)。具備高吞吐、高可用、高擴展特性，可以為海量數(shù)據(jù)的超大規(guī)模數(shù)據(jù)倉庫建設提供抽取、整合、清洗、入庫等集成業(yè)務。

產(chǎn)品特征

■高吞吐處理能力：采用多線程處理算法，高效的內(nèi)存利用率；任務運行過程無需本地磁盤IO操作，提升整體單位時間的大批量處理能力；支持TB/h級的大數(shù)據(jù)集成業(yè)務性能。

■高擴展、高可靠：并行架構(gòu)提升單機處理能力的線性擴展；新增執(zhí)行引擎的快速部署和自動識別，分布式架構(gòu)提升多機處理能力的線性擴展；執(zhí)行引擎宕機的自動識別和任務轉(zhuǎn)移，保證任務的順利執(zhí)行。

■可視化流程配置：通過簡單的圖形拖拽配置數(shù)據(jù)集成流程，簡單易用的專業(yè)化配置。

■集成業(yè)務全流程監(jiān)控：可對處理過程的每個步驟，每個子流程處理進行實時監(jiān)控，簡單快速發(fā)現(xiàn)處理過程遇到的漏數(shù)據(jù)，錯處理等問題。

■統(tǒng)一的元數(shù)據(jù)模型：基于統(tǒng)一公共倉庫元模型，可與公司產(chǎn)品線其他產(chǎn)品無縫對接，簡化整體解決方案的實施運維。

■大數(shù)據(jù)技術支持：支持主流的關系型數(shù)據(jù)庫，NOSQL數(shù)據(jù)庫,全文庫處理等主流大數(shù)據(jù)產(chǎn)品的抽取入庫，以及異構(gòu)庫之間的抽取入庫。

■低廉的硬件成本：使用x86架構(gòu)的PCServer，無需昂貴的unix服務器。

技術亮點

高性能

■任務的水平切分

一個分布式ETL任務會根據(jù)分區(qū)自動被分片到多臺ETL-執(zhí)行引擎中，每個執(zhí)行引擎的執(zhí)行容器使用多線程并發(fā)的對數(shù)據(jù)進行加工處理后加載到數(shù)據(jù)倉庫中。當源頭庫單表數(shù)據(jù)量巨大時，可極大提升整體的數(shù)據(jù)集成效率和性能

■任務拓撲切分

一個任務的各個步驟，可根據(jù)現(xiàn)場物理設備的實際配置，合理地安排到不同的物理設備上，保證硬件資源滿足步驟的執(zhí)行

高擴展

■集群處理能力的線性擴展

? 集群處理能力的快速擴充

? 集群自動識別和熱部署新增執(zhí)行引擎

■多集群組

? 根據(jù)業(yè)務劃分集群組，使關注點分離

? 集群組有利于異常干擾的隔離

■單任務并行計算

? 任務步驟的獨立線程數(shù)可配置

? IO的合理平衡

? 內(nèi)存空間的合理利用，減少內(nèi)存垃圾回收率

■任務的分布式調(diào)度

? 帶權(quán)重的負載均衡算法，可根據(jù)設備處理能力安排并發(fā)任務數(shù)

? 控制中心對集群環(huán)境的自動負載均衡

高可用

■異常數(shù)據(jù)分流

? 可選的異常數(shù)據(jù)分流機制，保證不影響正常流程的情況下異常數(shù)據(jù)分流

? 保證每個步驟出現(xiàn)的異常數(shù)據(jù)轉(zhuǎn)儲到指定地點，不丟失

■控制中心HA

■任務的異常處理

? 自動感知執(zhí)行引擎異常，將異常設備的任務轉(zhuǎn)發(fā)到正常設備上重新執(zhí)行

? 任務在一臺設備上執(zhí)行過程出現(xiàn)錯誤，自動重新在另外一臺設備重新執(zhí)行