蘇寧有八大產(chǎn)業(yè)。每個(gè)行業(yè)都有自己的數(shù)據(jù) market，每個(gè)數(shù)據(jù) market都有自己的維度表。沒有統(tǒng)一的維度管理(包括管理規(guī)范和系統(tǒng)支持)。業(yè)務(wù)痛點(diǎn)包括以下幾個(gè)方面:建立統(tǒng)一的維度管理系統(tǒng)，實(shí)現(xiàn)維度信息的統(tǒng)一管控，為集團(tuán)的數(shù)據(jù)產(chǎn)品提供統(tǒng)一的維度數(shù)據(jù)服務(wù)，包括維度開發(fā)管理、維度信息管理和維度數(shù)據(jù)服務(wù)。Dimension 數(shù)據(jù)如上圖所示，收集的數(shù)據(jù)經(jīng)過ETL清洗后存儲在Dimension數(shù)據(jù)warehouse(rock)中，然后dimension系統(tǒng)存儲Dimension 。

Dimension 數(shù)據(jù)同步方式:存儲在HBASE 數(shù)據(jù)中的維度由BULKLOAD導(dǎo)入，存儲在MYSQL 數(shù)據(jù)中的維度由SPARKSQL RDD編寫。對于數(shù)據(jù)同步，通過在頁面上配置任務(wù)，實(shí)現(xiàn)了一鍵同步，節(jié)省了人工。為什么要用這種存儲方式？1.根據(jù)數(shù)據(jù)的大小采用不同的存儲引擎，節(jié)省了存儲資源，提高了維度服務(wù)的穩(wěn)定性。

第一個(gè)是基礎(chǔ)階段。這個(gè)階段包括:關(guān)系型數(shù)據(jù)庫原理，LINUX操作系統(tǒng)原理及應(yīng)用。掌握這些基礎(chǔ)知識后，我們會安排這些基礎(chǔ)課的進(jìn)階課程，分別是:數(shù)據(jù)結(jié)構(gòu)與算法、MYSQL 數(shù)據(jù)庫應(yīng)用與開發(fā)、SHELL腳本編程。掌握了這些內(nèi)容，Da 數(shù)據(jù)的基礎(chǔ)學(xué)習(xí)階段就完成了。接下來是專業(yè)學(xué)習(xí)的第二階段:專業(yè)數(shù)據(jù)理論與核心技術(shù)。第二階段也分為基礎(chǔ)和高級兩個(gè)部分。先了解基礎(chǔ)知識，再進(jìn)一步了解和練習(xí)知識內(nèi)容。

數(shù)據(jù)分析行業(yè)發(fā)展時(shí)間不短，曾經(jīng)的數(shù)據(jù)已經(jīng)發(fā)展到現(xiàn)在的數(shù)據(jù)。所以很多人擔(dān)心傳統(tǒng)的數(shù)據(jù)處理方式能否應(yīng)付大的數(shù)據(jù)。其實(shí)這個(gè)擔(dān)心是對的。我們不能總想著一勞永逸。只有在和平時(shí)期，技術(shù)才能發(fā)展。先介紹一下傳統(tǒng)的數(shù)據(jù)的處理方式和今天的數(shù)據(jù)的具體情況。首先需要說說環(huán)境中的數(shù)據(jù)處理需求。

但是傳統(tǒng)的數(shù)據(jù)處理方式有什么缺點(diǎn)呢？傳統(tǒng)的數(shù)據(jù)收藏來源單一，存儲、管理和分析數(shù)據(jù)的量比較少，所以大部分可以通過關(guān)系型數(shù)據(jù)庫和并行型數(shù)據(jù)倉庫進(jìn)行處理。為了依靠并行計(jì)算提高數(shù)據(jù)的處理速度，傳統(tǒng)的并行數(shù)據(jù)庫技術(shù)追求高一致性和容錯(cuò)性，根據(jù)CAP理論很難保證其可用性和可擴(kuò)展性。但是數(shù)據(jù)的傳統(tǒng)處理方式是以處理器為中心的，而在大型的數(shù)據(jù)環(huán)境中，需要采用以數(shù)據(jù)為中心的模式，以減少數(shù)據(jù)移動帶來的開銷。

Da數(shù)據(jù)Times數(shù)據(jù)管理模式研究1 數(shù)據(jù)管理技術(shù)綜述數(shù)據(jù)管理技術(shù)主要經(jīng)歷了手工管理階段、文件系統(tǒng)階段和-隨著數(shù)據(jù)的應(yīng)用領(lǐng)域的不斷擴(kuò)大，管理環(huán)境1.1手工管理階段50年代中期，計(jì)算機(jī)主要用于科學(xué)計(jì)算。當(dāng)時(shí)還沒有磁盤等直接存取設(shè)備，只有紙帶、卡片、磁帶等外部存儲，也沒有管理數(shù)據(jù)的操作系統(tǒng)和專用軟件。

1.2文件系統(tǒng)階段從20世紀(jì)50年代末到60年代中期，隨著計(jì)算機(jī)軟硬件的發(fā)展，磁盤、磁鼓等直接存取設(shè)備開始普及。在此期間,數(shù)據(jù)處理系統(tǒng)將計(jì)算機(jī)中的數(shù)據(jù)組織成相互獨(dú)立的命名為數(shù)據(jù)的文件。數(shù)據(jù)可長期保存在電腦的外存中，數(shù)據(jù)可重復(fù)處理，支持文件的查詢、修改、插入、刪除等操作。

現(xiàn)有信息條件下的數(shù)據(jù)存儲以大融合方式存在，大數(shù)據(jù)結(jié)構(gòu)與傳統(tǒng)的數(shù)據(jù)庫并存。所以一個(gè)有效的大數(shù)據(jù) audit解決方案不應(yīng)該只是獨(dú)立審計(jì)，還要考慮傳統(tǒng)的數(shù)據(jù)庫審計(jì)，不會影響數(shù)據(jù)庫的高效穩(wěn)定運(yùn)行。大數(shù)據(jù)八大安全解決方案原則，兼容性:審計(jì)系統(tǒng)應(yīng)適應(yīng)不同的。主流數(shù)據(jù)結(jié)構(gòu)，商用數(shù)據(jù)庫，國產(chǎn)數(shù)據(jù)庫的各種版本都可以審核，可以統(tǒng)一不同數(shù)據(jù)庫的審計(jì)策略的編輯方法和日志性能?？煽啃?審計(jì)系統(tǒng)能夠連續(xù)穩(wěn)定運(yùn)行，滿足在線存儲至少6個(gè)月的要求。該審計(jì)系統(tǒng)可以保證審計(jì)記錄時(shí)間的一致性，避免錯(cuò)誤的時(shí)間記錄對跟蹤源的影響，獨(dú)立性:審計(jì)系統(tǒng)應(yīng)該獨(dú)立于數(shù)據(jù)庫系統(tǒng)，即使數(shù)據(jù)庫和操作系統(tǒng)被破壞，也必須保證審計(jì)日志的正確性和完整性。審核系統(tǒng)的運(yùn)行不應(yīng)影響數(shù)據(jù)庫系統(tǒng)和業(yè)務(wù)的運(yùn)行，實(shí)用性:由于業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲在數(shù)據(jù)庫中，所以大數(shù)據(jù)庫的操作審計(jì)需要細(xì)分到-。同時(shí)可以對數(shù)據(jù) library返回的信息進(jìn)行審計(jì)，包括錯(cuò)誤代碼和數(shù)據(jù) library的響應(yīng)時(shí)間，當(dāng)數(shù)據(jù) library出現(xiàn)重要錯(cuò)誤時(shí)，可以立即處理。