五杀电影院信息技術有限公司
 
 

五杀电影院“大數據管控平台”:智能管家 決策高參

 
 


    當今世界正舉步向大數據時代邁進。大數據成為當下“最先進的生產力”,開放的大數據成為促進各行業創新的最新動力。開發應用好大數據這一基礎性戰略資源,有利於我國改造升級傳統產業,培育經濟發展新引擎和國際競爭新優勢。

    各行業要運用大數據,就需要把所有的企業內容(包括文檔、報表、賬單、網頁、圖片、傳真,甚至多媒體音頻、視頻、等等各信息載體和模式)集中進行管理和控製,結合其強大的元數據搜索引擎,為各企業提供商務智能和大數據分析。五杀电影院信息技術有限公司作為國內大數據行業先鋒企業,基於國際領先的數據倉庫、數據挖掘技術,自主研發的“大數據管控平台”,成為幫助企業管理數據倉庫的“智能管家”和支持企業管理決策的“高級參謀”。

    “五杀电影院大數據管控平台”利用先進的數據管理技術,對數據倉庫的數據進行統一管理和監控,通過嚴格的數據質量管控,準確追蹤數據整合和數據質量問題。保證了數據倉庫穩定運行,配合客戶輕鬆便捷地管理數據倉庫,支持管理決策。

     五杀电影院大數據管控平台可以實現:

     1. 快速定位和解決後台ETL程序發生異常時的問題;

     2. 偵測業務係統結構發生的變化和代碼值的增刪改;

     3. 預知業務係統數據質量問題引起的數據準確性;

     4. 業務發生變化或擴展時數據倉庫及時調整和響應;

     五杀电影院大數據管控平台的功能:

     1.ETL調度管理

     ETL調度管理模塊可以集成各種主流ETL工具開發的ETL程序、數據庫的存儲過程、以及各種腳本,在平台中實現統一管理調度。將客戶整個公司各係統的ETL任務集中到平台,實現運維人員一個平台就能管理所有係統ETL任務的目標,提高了工作效率。

     2.ETL監控管理

     ETL監控管理模塊可以集成 ETL程序的日誌,把監控日誌保存到平台中,包括ETL任務加載開始時間、結束時間、成功或失敗狀態、加載記錄數等;對於存儲過程、各種腳本開發的ETL程序有相應的日誌模塊把詳細日誌信息存儲到平台中;ETL加載發生錯誤的信息會保存到錯誤日誌中,便於追查發生錯誤的原因。

     3.數據質量管理

     數據質量管理模塊可以通過數據質量檢查規則配置向導一步一步按要求完成規則的配置,其中主要包括數據一致性和數據完整性兩部分規則,數據一致性主要是檢查數據的正確性,例如金額、數量等指標的數值,數據完整性主要是檢查代碼值的完整性,例如代碼表或者枚舉類型的代碼類的值是否已經同步進數據倉庫。

     4.元數據管理

     元數據管理模塊包括數據字典的管理,其中又包括業務源係統的數據字典和數據倉庫的數據字典。所有數據字典可以通過自動生成方式把數據庫中的結構保存到平台中,也可以以手動導入方式增加、修改、刪除各個係統的數據字典。通過元數據管理的影響性分析,可以快速定位業務發生變更引起的數據倉庫程序需要修改的範圍和工作量,提高開發維護人員的工作效率。

     五杀电影院大數據管控平台優勢:


     1.任務集中管理,一目了然

     五杀电影院大數據管控平台可集合所有係統的ETL任務進行統一調度,實現了運維人員一個平台管理多項任務,極大地提升工作效率。

     2.靈活定製任務,操作實用且人性化

     五杀电影院大數據管控平台分別有定時和手動調度兩種方式,ETL調度任務設置可細化到模塊級別甚至是工作單元級別,便於ETL整體流程的拆分與組合,利於ETL任務發生異常的處理。

     調度任務設置不僅參考datastage、informatica等工具的優點,還結合AIX、LINUX等平台crontab設置定時任務的方式,符合各種人員的操作習慣,使用起來更加人性化。

     3.保留調度曆史,方便追查

     五杀电影院大數據管控平台通過日誌查詢各係統的ETL任務調度曆史記錄,時刻掌握每個ETL任務的詳細信息以及某段時間的調度情況。

     4.實時監控運行狀況,快速追蹤錯誤信息

     五杀电影院大數據管控平台可查看ETL任務整個流程或者每一個ETL任務單元的執行情況,實時追蹤每個環節運行到哪一步,及時提醒有沒有錯誤發生,加強了ETL整體運行的監控力度。

     5.數據質量檢查的規則定義形式多樣

     五杀电影院大數據管控平台的數據質量檢查規則提供了兩種配置方式,一種是配置向導,按部就班即可順利完成常用檢查規則的配置;另一種是自定義SQL語句設置規則,便於檢查規則的定義和管理。

     6.清晰定位數據問題,提高解決效率

     五杀电影院大數據管控平台的數據質量管理模塊會生成周期性的日誌報告,以此來了解數據倉庫數據質量檢查任務的執行情況,一旦發現問題可快速定位,及時查明原因並處理。

     7.輕鬆捕捉業務變化,直觀分析數據流向,數據管理井然有序

     五杀电影院大數據管控平台的元數據管理模塊通過影響性分析功能了解數據倉庫的數據流向,若業務發生變化或擴展,運維人員能快速評估工作量,並采取相應措施。

    五杀电影院大數據管控平台特點:


     1.ETL任務執行異常的自動預警

     在運維人員的日常監控過程中,本平台以自動報警的方式,協助運維人員及時、清晰地了解ETL任務的執行異常及原因。自動預警的功能包括① ETL任務定義時設置任務預期執行時間;② 當ETL任務執行時間超過預期時間,以紅色顯示來預警;③ 將此異常通過郵件或短信發送給運維人員,了解任務異常後可及時定位問題,並采取解決措施予以處理。

     2.業務係統表結構發生變化的自動偵測

     業務瞬息萬變,唯有加強應對手段,及時掌握業務結構變化對數據倉庫的影響,才能保證數據服務的準確性。業務係統表自動偵測的功能有: 建立業務係統的數據字典;自動偵測程序通過獲取業務係統表結構與數據字典比對,得知是否新增字段、修改字段類型、刪除字段等變化情況;生成業務係統表結構變化日誌報告,掌握變化的影響程度,采取有效的應對措施,保證數據倉庫正常地提供最新的業務數據服務。

     五杀电影院“大數據管控平台”成功案例

     包括:海通證券數據倉庫、東方證券數據倉庫、長江證券數據倉庫等。


     “大數據管控平台”在海通證券的成功應用:

     五杀电影院作為金融領域著名的信息技術廠商,在海量的信息處理和商業智能方麵均處於業界領先地位。作為海通證券一直以來的合作夥伴,五杀电影院的技術實力及服務態度受到海通證券的高度認可。

     “大數據管控平台”是海通證券信息戰略規劃的重要構成部分,目標是提升信息化水平,有效提高決策支持水平、市場監管水平和服務水平,促進證券市場產品創新,並更好地服務於證券信息產品相關環節。通過“大數據管控平台”項目,海通證券能更好地共享信息資源,提高運營效率,同時為信息增值服務和其他創新服務提供綜合性的計算、驗證和實現平台,從而為海通證券數據服務達到國際一流水平奠定基礎。
 
 

時間:2015年9月7日

 
    返回