定 ?位

金蝶Apusic大數據融合套件(以下簡稱套件)高(gao)性能海(hai)量數據集成、交(jiao)換、傳輸的專業軟件,通過強大的數據處理能力,可以便捷(jie)地將大數據環境下的各種數據資源和(he)各個異構系(xi)統存(cun)儲的大量的數據整合成完整的、一致(zhi)的、準確的、可集中存(cun)取的高(gao)質量數據,協助用戶實現數據資源整合和(he)數據價值挖掘(jue),有效促進數據資源的開發利用。

用戶面(mian)臨的挑戰

近些(xie)年(nian)來,我(wo)國的信息(xi)化進程大大加快,大量的基礎(chu)業務(wu)系(xi)統在不斷xi)謀淮da)建起(qi)來chu)Pxin)老業務(wu)系(xi)統不斷融合,支撐著整個業務(wu)系(xi)統的運轉(zhuan)。隨著業務(wu)規模(mo)逐(zhu)年(nian)擴大,應用系(xi)統chi) 涫萁jiao)換的需求越來越強烈(lie)。數據集成業務(wu)的數據量、交(jiao)換頻度、復(fu)雜度都(du)在隨業務(wu)規模(mo)成倍的增長,導致(zhi)數據交(jiao)換暴露出的問題也越來越多。這對現有的集成業務(wu)建設與管理帶(dai)來的巨大的挑戰。

接入系(xi)統越來越多,接入難(nan)度越來越大,接入速度越來越慢

由于(yu)業務(wu)系(xi)統chi)擲嚳fan)多,必然出現不同(tong)的技術實現,導致(zhi)組織內存(cun)在多個完全異構業務(wu)系(xi)統chang)Ishang)級部門(men)和(he)下級部門(men)采用不同(tong)的管理軟件,部門(men)和(he)部門(men)各自采用適合本身(shen)業務(wu)特點的信息(xi)系(xi)統等情況隨處可見,使獲取不同(tong)業務(wu)系(xi)統數據的工(gong)作變得困難(nan)和(he)復(fu)雜。

大數據環境下集成技術多樣性與復(fu)雜性

業務(wu)系(xi)統數據交(jiao)換與集成需求的特點是復(fu)雜且具有多樣性。
集成方式︰面(mian)臨數據集成,文件交(jiao)換,服務(wu)集成多種集成方式;
資源形態多樣性︰需要支持(chi)關系(xi)數據庫表、NoSQL、結構化半結構化文件、HDFS、流式數據、Web服務(wu),特定應用適配(pei)器等多種數據介(jie)質存(cun)儲和(he)數據管道;
數據抽取方式︰支持(chi)全量數據和(he)變化增量數據抽取捕(bu)獲;
交(jiao)換時效性︰支持(chi)間隔調度、定時任(ren)務(wu)、實時交(jiao)換、消息(xi)事(shi)件觸發、手工(gong)執行多種;
數據轉(zhuan)換的復(fu)雜性︰需要對異構數據轉(zhuan)換處理、清(qing)洗過濾、腳本處理。

數據集成交(jiao)換規模(mo)逐(zhu)步擴大,性能與可靠性無法保障

隨著集成工(gong)作的開展,交(jiao)換規模(mo)逐(zhu)步擴大。小範圍、單業務(wu)系(xi)統chi) 淶氖萁jiao)換,越來越少,而(er)跨(kua)地域、跨(kua)業務(wu)領域、跨(kua)部門(men)的大量數據共(gong)享與交(jiao)換逐(zhu)步則成為常態。之(zhi)前針對于(yu)點對點或小規模(mo)數據交(jiao)換的產(chan)品在功能與性能方面(mian)均難(nan)以yue)zu)這樣的變化。

業務(wu)對交(jiao)換管理提出了更高(gao)的要求,但現有的運維管理工(gong)具無法支撐

業務(wu)要求運維與管理人員同(tong)時監(jian)管數十種業務(wu)並行運行的情況,上(shang)百個節點的運行狀態,以保證系(xi)統運行的穩定性與可靠性。但由于(yu)現有的支撐工(gong)具對大規模(mo)數據交(jiao)換業務(wu)的監(jian)控能力非常薄(bo)弱,系(xi)統chi)諧魷值氖萁jiao)換問題難(nan)以被即(ji)時發現、評估以及處理,給(gei)業務(wu)運行帶(dai)來了很大的不確定因素(su)。

產(chan)品的核(he)心價值

豐富的數據適配(pei)能力

  • 套件包(bao)含強大的數據適配(pei)能力,提供(gong)上(shang)百種適配(pei)器能適配(pei)連接各種數據源和(he)數據格式;
  • 支持(chi)大數據平台適配(pei),提供(gong)Hive,Hbase,Hdfs,Kafka,MongoDB適配(pei)組件;
  • 支持(chi)關系(xi)數據庫,平文件、Web服務(wu)、以及主流應用協議如(ru)JMS\TCP&UDP\HTTP\FTP的接入適配(pei)。

高(gao)性能處理復(fu)雜數據轉(zhuan)換

  • 提供(gong)大量可視(shi)化組件,包(bao)括數據校驗、連接、查(cha)詢、分割(ge)、合並(聚集)、映射、排序、過濾、去(qu)重、替換、條件分發、行列轉(zhuan)換等功能完成復(fu)雜轉(zhuan)換操作;
  • 基于(yu)流程和(he)轉(zhuan)換組件的多線程並發處理架構,可在單位時間內進行大批量級數據轉(zhuan)換處理,性能卓(zhuo)越。

API服務(wu)集成和(he)治理

  • 隨著微服務(wu)架構的普及,越來越多的應用之(zhi)間輕量級的業務(wu)協同(tong)采用Rest服務(wu)集成方式實現數據傳輸和(he)交(jiao)換。ADI大數據集成套件實現對各種數據源封裝(zhuang)為標準API服務(wu),並實現發布、代理、編(bian)排等功能實現跨(kua)系(xi)統的數據流轉(zhuan);同(tong)時提供(gong)API服務(wu)目錄、發布訂閱、流量限(xian)制(zhi)、安全管控、服務(wu)水平等服務(wu)治理功能,實現zhi)教PI服務(wu)的統一精細(xi)化管控。

穩定可靠的數據交(jiao)換傳輸

  • 針對跨(kua)區域、跨(kua)層級、跨(kua)部門(men)的網絡(luo)環境下的數據集成,需要提供(gong)高(gao)性能的傳輸通道以實現數據的跨(kua)網傳輸交(jiao)換。大數據套件提供(gong)高(gao)性能的分布式消息(xi)隊列作為底層傳輸管道,提供(gong)穩定可靠的數據和(he)文件傳輸服務(wu),有效支撐千(qian)萬級表數據記錄和(he)TB級文件交(jiao)換傳輸。

資源統一管理和(he)業務(wu)集中配(pei)置

  • 套件提供(gong)完整的資源目錄功能,幫助用戶編(bian)制(zhi)信息(xi)資源目錄實現共(gong)享信息(xi)資源的管理,方便各部門(men)用戶及時完整的了解部門(men)所有的可集成共(gong)享的信息(xi)資源,為數據集成和(he)交(jiao)換共(gong)享提供(gong)依(yi)據;
  • 同(tong)時提供(gong)數據交(jiao)換集成的業務(wu)集中配(pei)置管理功能,提供(gong)向導式幫助用戶快件配(pei)置集成交(jiao)換任(ren)務(wu)流程並自動部署到(dao)遠程交(jiao)換節點,有效提高(gao)業務(wu)配(pei)置和(he)集中管控效率。

統一資源監(jian)控管理

  • 大數據集成套件的管控平台可實現分布式多個運行服務(wu)器的統一監(jian)控和(he)管理。用戶只需要將運行服務(wu)器注冊到(dao)監(jian)控平台,即(ji)可實現轉(zhuan)換和(he)作業流程資源的部署,調度,並實時監(jian)控各個服務(wu)器節點的運行狀態信息(xi),以及部署在運行服務(wu)器節點上(shang)的流程的運行狀態以及數據處理效率和(he)處理細(xi)節,包(bao)括處理成功數,失敗數等等,同(tong)時提供(gong)各種可視(shi)化圖表展現運行狀況。

產(chan)品架構及特點

應用場(chang)景

數據庫表同(tong)步、異構數據集成、數據跨(kua)層級、跨(kua)部門(men)、跨(kua)區域數據交(jiao)換傳輸、API服務(wu)集成、API服務(wu)管理、文件交(jiao)換

典(dian)型(xing)案例(li)

在國家統計局zhi)笠狄惶妝硐金恐校  笫菁 善教ㄊ迪直本┬僕蚍feng)和(he)清(qing)華(hua)同(tong)方兩套統計聯網直報(bao)平台32個省的月(yue)報(bao),季報(bao),年(nian)報(bao)等數據雙(shuang)向同(tong)步。數據同(tong)步涉及交(jiao)換處理流程500多條,年(nian)數據同(tong)步量千(qian)萬級,同(tong)步效率達(da)1萬條/秒。
平台采用全表同(tong)步和(he)基于(yu)日(ri)志的異步CDC增量高(gao)效及時同(tong)步整合數據,有效支撐兩套直報(bao)平台數據的一致(zhi)性和(he)完整性,為數據分析和(he)數據比對提供(gong)高(gao)質量高(gao)精準的數據內容。

證監(jian)會數據交(jiao)換系(xi)統是為了建立證券期貨行業統一的數據共(gong)享機(ji)制(zhi),支持(chi)中央監(jian)管信息(xi)平台與其他部委(wei)或監(jian)管機(ji)構的數據交(jiao)換。主要是完成互聯網、證聯網、涉密內網之(zhi)間的文件交(jiao)換,具備數據交(jiao)換、數據共(gong)享、文件交(jiao)換、統計監(jian)控、系(xi)統管理等功能。

甦(su)州工(gong)業園區政務(wu)信息(xi)資源共(gong)享交(jiao)換平台是為滿足(zu)人口庫的建立過程中的數據交(jiao)換而(er)設置的專項項目,在滿足(zu)人口庫建設需求的基礎(chu)上(shang),為園區提供(gong)面(mian)向三大庫(企業法人庫、空(kong)間地理信息(xi)庫、人口庫)的資源共(gong)享交(jiao)換服務(wu),為園區電子政務(wu)建設提供(gong)穩定、可靠的資源共(gong)享交(jiao)換服務(wu)。