商場數(shù)據(jù)倉庫ETL系統(tǒng)架構(gòu)的設計基于CWM的商場數(shù)據(jù)倉庫ETL系統(tǒng)架構(gòu)的編碼實現(xiàn)擬采用Java語言。我之所以選擇Java語言，不僅是因為它是一種簡單的、面向?qū)ο蟮?、分布式的語言，還因為它具有平臺無關(guān)性和安全性的優(yōu)勢。跟我一起了解一下吧！一、ETL概述ETL是數(shù)據(jù)提取、轉(zhuǎn)換和加載的簡稱。它是指從各種異構(gòu)數(shù)據(jù)源中提取數(shù)據(jù)，將不同數(shù)據(jù)源的數(shù)據(jù)進行轉(zhuǎn)換和集成，得到一致的數(shù)據(jù)，然后加載到數(shù)據(jù)倉庫中。

ETL工具的獲取方式有兩種:利用現(xiàn)有的商用ETL工具可以縮短系統(tǒng)的開發(fā)周期，但存在投資成本高、軟件的針對性、通用性和兼容性差等問題。設計和開發(fā)一個標準的、通用的ETL工具，對于提高ETL的實用價值，降低項目實施的成本和風險具有重要意義。由于數(shù)據(jù)倉庫和數(shù)據(jù)源系統(tǒng)在數(shù)據(jù)格式和數(shù)據(jù)模型上存在很大的差異，所以很難客觀地形成數(shù)據(jù)倉庫的ETL實現(xiàn)過程。

大數(shù)據(jù)的起源給了“大數(shù)據(jù)”研究機構(gòu)Gartner這樣的定義?！按髷?shù)據(jù)”是一種信息資產(chǎn)，需要新的處理模式來擁有更強的決策、洞察和流程優(yōu)化能力，以適應海量、高增長率和多樣化。麥肯錫全球研究院給出的定義是:規(guī)模遠遠超出傳統(tǒng)數(shù)據(jù)庫軟件工具在獲取、存儲、管理和分析方面能力的數(shù)據(jù)集，具有數(shù)據(jù)規(guī)模海量、數(shù)據(jù)流動迅速、數(shù)據(jù)類型多樣、價值密度低四大特征。

換句話說，如果把大數(shù)據(jù)比作一個行業(yè)，那么這個行業(yè)盈利的關(guān)鍵就在于提高數(shù)據(jù)的“處理能力”，通過“處理”實現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上講，大數(shù)據(jù)和云計算的關(guān)系就像硬幣的正反面一樣密不可分。大數(shù)據(jù)不能由單臺計算機處理，必須采用分布式架構(gòu)。其特點是對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘。但它必須依賴云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)。

分層的主要原因是在管理數(shù)據(jù)時，我們可以對數(shù)據(jù)有更清晰的控制。詳細來說，有幾個原因:清晰的數(shù)據(jù)結(jié)構(gòu):每個數(shù)據(jù)分層都有它的范圍，這樣我們可以更方便的定位和理解表格。方便的數(shù)據(jù)血緣追蹤:簡單來說，我們最后呈現(xiàn)一個可以直接使用的業(yè)務表，但是來源很多。如果一個源表出現(xiàn)了問題，我們希望能夠快速準確的定位問題，知道它的危害范圍。

簡化復雜問題:把一個復雜的任務分解成多個步驟，每一層只處理一個步驟，這樣更簡單，更容易理解。而且便于維護數(shù)據(jù)的準確性。當數(shù)據(jù)出現(xiàn)問題時，不需要修復所有數(shù)據(jù)，只需要從有問題的步驟開始修復即可。屏蔽原始數(shù)據(jù)的異常:屏蔽業(yè)務的影響，需要在不改變一次業(yè)務的情況下重新訪問數(shù)據(jù)。每個企業(yè)可以根據(jù)自己的業(yè)務需求分為不同的層次，但最基本的分層思想是數(shù)據(jù)理論上分為三層，即數(shù)據(jù)運營層、數(shù)據(jù)倉庫層和數(shù)據(jù)服務層。

與文本等其他存儲方式相比，數(shù)據(jù)庫在大量數(shù)據(jù)的存儲、檢索、統(tǒng)計、分類、編輯等方面具有絕對優(yōu)勢。數(shù)據(jù)庫營銷是一種全新的銷售方式，旨在與客戶建立一對一的互動交流關(guān)系，依托龐大的客戶信息庫進行長期推廣活動。它是一個動態(tài)的數(shù)據(jù)庫管理系統(tǒng)，覆蓋現(xiàn)有客戶和潛在客戶，可以隨時更新。數(shù)據(jù)庫營銷的核心是數(shù)據(jù)挖掘。將數(shù)據(jù)庫定義為存儲數(shù)據(jù)的倉庫。

但是數(shù)據(jù)庫不是隨意存儲數(shù)據(jù)的，有一定的規(guī)則，否則查詢效率會很低。當今世界是一個充滿數(shù)據(jù)的互聯(lián)網(wǎng)世界，充滿了大量的數(shù)據(jù)。也就是這個互聯(lián)網(wǎng)世界就是數(shù)據(jù)世界。數(shù)據(jù)的來源有很多，比如出行記錄、消費記錄、訪問的網(wǎng)頁、發(fā)送的消息等等。除了文本數(shù)據(jù)，圖像、音樂、聲音都是數(shù)據(jù)。

一個通俗的理解:數(shù)據(jù)倉庫:就像是給我們蓋了一個房子住。數(shù)據(jù)倉庫系統(tǒng)的功能可以實現(xiàn)跨業(yè)務線、跨系統(tǒng)的數(shù)據(jù)集成，為管理分析和經(jīng)營決策提供統(tǒng)一的數(shù)據(jù)支持。數(shù)據(jù)倉庫可以從根本上幫助你將公司的運營數(shù)據(jù)轉(zhuǎn)化為高價值的可訪問信息(或知識)，在正確的時間以正確的方式將正確的信息傳遞給正確的人。在數(shù)據(jù)臺，不僅賣你的房子，還有全方位的配套服務，根據(jù)不同的客戶提供不同的戶型，不同的裝修。

7。了解數(shù)據(jù)倉庫的含義以及數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別，答:意義數(shù)據(jù)倉庫是面向主題的、集成的、不可再生的、不斷變化的數(shù)據(jù)集，可以支持企業(yè)或組織的決策分析和處理。什么是數(shù)據(jù)倉庫？目前，數(shù)據(jù)倉庫這個詞還沒有一個統(tǒng)一的定義，著名的數(shù)據(jù)倉庫專家W.H.Inmon在他的《構(gòu)建數(shù)據(jù)倉庫》一書中這樣描述:數(shù)據(jù)倉庫是面向主題的、集成的、相對穩(wěn)定的，并反映歷史變化。