要解決什么業(yè)務(wù)問題？需要什么樣的分析？數(shù)據(jù)數(shù)量是多少？是否需要實時分析？對BI報告有需求嗎？下面是一個典型的場景:公司用Oracle或MySQL搭建業(yè)務(wù)數(shù)據(jù)庫，有簡單的數(shù)據(jù)分析，也可能是購買了BI系統(tǒng)，業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫直接支持，現(xiàn)在用-

有數(shù)據(jù)的地方，就有大數(shù)據(jù)技術(shù)的地方。大數(shù)據(jù)目前在金融行業(yè)和互聯(lián)網(wǎng)行業(yè)應(yīng)用最多最深，在農(nóng)業(yè)行業(yè)流量管理方面有應(yīng)用。Big 數(shù)據(jù)在金融行業(yè)的應(yīng)用非常廣泛，可以概括為以下兩個層次:A: Big 數(shù)據(jù)營銷:根據(jù)客戶的消費習(xí)慣、地點、消費時間，強(qiáng)烈推薦。b:風(fēng)險防控:根據(jù)客戶消費和現(xiàn)金流展示信用評級或股權(quán)融資，利用客戶社交媒體記錄透支卡風(fēng)險控制。

Big 數(shù)據(jù)與之前的數(shù)據(jù)相比，體現(xiàn)在一個量上。以前每天生成的數(shù)據(jù)可能只有M級，現(xiàn)在你們公司生成了數(shù)據(jù)GB級，已經(jīng)擴(kuò)展到全社會。數(shù)據(jù)每天都在爆發(fā)式增長。我們需要用更復(fù)雜的技術(shù)從海量中找到數(shù)據(jù)的規(guī)律，然后應(yīng)用到數(shù)據(jù)中。比如之前的“約”的輸入法就比較復(fù)雜。這個功能就是利用Da 數(shù)據(jù)的特點，主要表現(xiàn)在當(dāng)社會使用這個詞足夠頻繁時，可以自動添加到詞庫中供用戶使用，不需要做其他改動就可以達(dá)到更新最新詞條的目的。

所以數(shù)據(jù) 平臺的設(shè)計需要基于業(yè)務(wù)場景或者發(fā)展方向。數(shù)據(jù) 平臺其實也一樣，比如現(xiàn)在的風(fēng)險識別。當(dāng)我們使用支付寶、微信支付時，背后的支付監(jiān)控數(shù)據(jù) 平臺在默默工作。當(dāng)發(fā)現(xiàn)異常時，會顯示出來或者系統(tǒng)按照設(shè)定的策略在系統(tǒng)層面進(jìn)行處理。如果系統(tǒng)處理不了，會顯示或者交給相關(guān)業(yè)務(wù)人員，他們可以第一時間處理，減少用戶或者公司的損失。

企業(yè)中的OLAP幾乎都是基于關(guān)系型的數(shù)據(jù)數(shù)據(jù)庫。如何應(yīng)對架構(gòu)中“大數(shù)據(jù)”分析的瓶頸乃至實時數(shù)據(jù)分析的挑戰(zhàn)？本文擬就Da數(shù)據(jù)OLAP平臺的幾個設(shè)計要點，以期引起更多的關(guān)注。突破設(shè)計原理構(gòu)建企業(yè)的big數(shù)據(jù)management平臺(BigDataManagement Platform)第一個挑戰(zhàn)來自歷史數(shù)據(jù)結(jié)構(gòu)和現(xiàn)有數(shù)據(jù)庫設(shè)計者的概念和原理。

首先要了解Java語言和Linux操作系統(tǒng)，這是學(xué)習(xí)Da 數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)順序不分先后。Java:只要懂一些基礎(chǔ)，不需要很深的Java技術(shù)就可以大數(shù)據(jù)。學(xué)習(xí)javaSE相當(dāng)于學(xué)習(xí)big 數(shù)據(jù)。Linux:因為相關(guān)的軟件都運行在Linux上，所以你要把Linux學(xué)得更扎實。學(xué)好Linux對你快速掌握相關(guān)技術(shù)會有很大的幫助?？梢愿玫牧私鈎adoop、hive、hbase、spark等大型數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，通過學(xué)習(xí)shell可以了解腳本，更容易理解和配置大型數(shù)據(jù)集群。

總的來說，分析過程可以分為以下幾個步驟:1。linux系統(tǒng)安裝一般使用開源版本的Redhat system CentOS作為底層/平臺from數(shù)據(jù)，為了提供穩(wěn)定的硬件基礎(chǔ)，在raid掛載數(shù)據(jù)存儲節(jié)點時，需要根據(jù)情況配置硬盤。比如可以選擇制作HDFS NameNode的RAID2來提高穩(wěn)定性，將數(shù)據(jù)存儲和操作系統(tǒng)放在不同的硬盤上，保證操作系統(tǒng)的正常運行。