集成策略

    數(shù)據(jù)集成是指將來源于不同系統(tǒng)的數(shù)據(jù)組合在一起，供業(yè)務用戶研究不同的行業(yè)行為及客戶行為的數(shù)據(jù)處理方式。在數(shù)據(jù)集成應用早期，數(shù)據(jù)僅限于交易系統(tǒng)及其應用。業(yè)務決策的制定以決策平臺為指導，而有限的數(shù)據(jù)集提供了創(chuàng)建決策平臺的基礎。

    數(shù)據(jù)容量與數(shù)據(jù)類型在過去三十年里大幅增長，數(shù)據(jù)倉庫技術從無到有，基礎架構和技術的發(fā)展?jié)M足了分析和數(shù)據(jù)存儲需求。這一切徹底改變了數(shù)據(jù)集成的前景。

    傳統(tǒng)數(shù)據(jù)集成技術主要關注于架構和相關編程模型的ETL、ELT、CDC和EAI類型。然而，在大數(shù)據(jù)環(huán)境里，這些技術需要根據(jù)規(guī)模和處理復雜度等需求進行修改，其中包括需要處理的數(shù)據(jù)格式。實現(xiàn)大數(shù)據(jù)處理需要兩個步驟。第一步是實現(xiàn)數(shù)據(jù)驅(qū)動的架構，其中包括數(shù)據(jù)處理的分析和設計。第二步是物理架構實現(xiàn)，我們將在下面的章節(jié)介紹這個步驟。

    數(shù)據(jù)驅(qū)動的集成

    在建造下一代數(shù)據(jù)倉庫的技術方法中，企業(yè)中所有數(shù)據(jù)首先會根據(jù)數(shù)據(jù)類型進行分類，也會考慮到數(shù)據(jù)本身的性質(zhì)及其相關的處理需求。數(shù)據(jù)處理過程將會用到內(nèi)置在處理邏輯中并且整合到一系列編程流程中的業(yè)務規(guī)則，數(shù)據(jù)處理會使用到企業(yè)元數(shù)據(jù)、MDM和語義技術（分詞技術）等。

    圖1顯示了各類數(shù)據(jù)的入口數(shù)據(jù)處理過程。這個模型首先基于數(shù)據(jù)的格式和結構劃分數(shù)據(jù)類型，然后再進行ETL、ELT、CDC或文本處理技術中各個層次的規(guī)則處理。下面，讓我們來分析一下數(shù)據(jù)集成架構及其優(yōu)點。

圖1 數(shù)據(jù)處理過程

    如圖1所示，數(shù)據(jù)可以粗略地劃分為以下分類：

    事務處理數(shù)據(jù)。比如典型的OLTP數(shù)據(jù)。

    Web應用數(shù)據(jù)。比如組織開發(fā)的Web應用所產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)包括點擊流數(shù)據(jù)、Web銷售數(shù)據(jù)及客戶關系和呼叫中心通話數(shù)據(jù)。

    EDW數(shù)據(jù)。這是來自組織當前所用數(shù)據(jù)倉庫的現(xiàn)有數(shù)據(jù)。它可能包括組織中各種不同的數(shù)據(jù)倉庫和數(shù)據(jù)集市，它們存儲和處理著供業(yè)務用戶使用的數(shù)據(jù)。

    分析數(shù)據(jù)。這些數(shù)據(jù)來自于目前組織部署的分析系統(tǒng)。現(xiàn)在這些數(shù)據(jù)主要基于EDW或事務數(shù)據(jù)。
 
    非結構化數(shù)據(jù)。這個大分類包括：

    文本：文檔、筆記、記事和通訊錄

    圖像：照片、圖表和圖形

    視頻：與組織相關的企業(yè)和客戶視頻

    社交媒體：Facebook、Twitter、Instagram、LinkedIn、論壇、YouTube和社區(qū)網(wǎng)站音頻：呼叫中心通話、廣播 傳感器數(shù)據(jù)：包括來自營業(yè)范圍相關的各種設備的傳感器數(shù)據(jù)。例如，能源公司會產(chǎn)生智能測量儀表數(shù)據(jù)，而物流與配送供應商（UPS和FedEx）產(chǎn)生的是卡車和汽車傳感器數(shù)據(jù)。

    天氣數(shù)據(jù)：現(xiàn)代B2B和B2C公司用天氣數(shù)據(jù)分析天氣對業(yè)務的影響；它已經(jīng)成為預測分析的重要元素。

    科學數(shù)據(jù)：應用于醫(yī)學、制藥、保險、醫(yī)療和金融服務，這些領域都需要復雜的數(shù)據(jù)計算能力，其中包括模擬和生成模型。

    股市數(shù)據(jù)：許多組織用它處理金融數(shù)據(jù)，預測市場趨勢、金融風險和進行精算計算。

    半結構化數(shù)據(jù)：其中包括電子郵件、演示文稿、數(shù)學模型、圖形和地理數(shù)據(jù)。

    架構

    在確定和整理好不同的數(shù)據(jù)類型之后，就可以清晰確定各種數(shù)據(jù)特征——包括數(shù)據(jù)類型、關聯(lián)的元數(shù)據(jù)、可以標識為主數(shù)據(jù)元素的重要數(shù)據(jù)元素、數(shù)據(jù)復雜度及擁有和管理數(shù)據(jù)的業(yè)務用戶。

    工作負載

    處理大數(shù)據(jù)的最大需求是前面章節(jié)所介紹的工作負載管理。

圖2 大數(shù)據(jù)負載管理

    有了數(shù)據(jù)架構和分類，我們就可以分配可以執(zhí)行該類數(shù)據(jù)工作負載需求的基礎架構。

    我們可以根據(jù)數(shù)據(jù)容量和數(shù)據(jù)延遲時間將工作負載大體分成4類（圖2）。然后，我們再根據(jù)類別將數(shù)據(jù)分配到物理基礎架構層進行處理。該管理方法可以為數(shù)據(jù)倉庫的各個部分創(chuàng)建一種動態(tài)可擴展需求，它們可以高效利用當前及未來的新基礎方法。在這個時候，一定要注意的關鍵問題是要保持處理邏輯的靈活性，使它能夠在不同的物理基礎架構組件上發(fā)揮作用，因為數(shù)據(jù)是根據(jù)處理緊迫性進行分類的，這樣相同的數(shù)據(jù)就可能會被歸類到不同的工作負載上。

    工作負載架構將進一步?jīng)Q定混合工作負載管理的條件，來自不同工作負載的數(shù)據(jù)會一同處理。

    例如，通常我們只需要在一個環(huán)境中處理一種數(shù)據(jù)及其負載，如果將高容量低延遲數(shù)據(jù)和低容量高延遲數(shù)據(jù)放在一起處理，數(shù)據(jù)處理環(huán)境就會面臨多樣化壓力。同時發(fā)生或高頻的用戶查詢和數(shù)據(jù)加載會進一步加大數(shù)據(jù)處理的復雜性，情況可能會很快失去控制，然后影響整體性能。如果一個基礎架構同時處理大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)，再加上這些復雜性，那么問題會更加嚴重。

    劃分工作負載的目標是確定數(shù)據(jù)處理的復雜性，以及如何降低下一代數(shù)據(jù)倉庫的基礎架構設計的風險。

核心關注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理，全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域，是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://m.kaqidy.com/

本文標題：數(shù)據(jù)倉庫的大數(shù)據(jù)集成

本文網(wǎng)址：http://m.kaqidy.com/html/consultation/10839312039.html