獲取大數(shù)據(jù)后，利用這些數(shù)據(jù)去做:數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)分析和數(shù)據(jù)可視化。大數(shù)據(jù)的核心功能是數(shù)據(jù)價(jià)值，簡單來說，大數(shù)據(jù)讓數(shù)據(jù)產(chǎn)生各種“價(jià)值”，這個(gè)數(shù)據(jù)價(jià)值的過程才是大數(shù)據(jù)應(yīng)該做的主要事情，大數(shù)據(jù)行業(yè)的數(shù)據(jù)準(zhǔn)確嗎？在我看來，一個(gè)完整的大數(shù)據(jù)平臺(tái)應(yīng)該提供離線計(jì)算、即席查詢、實(shí)時(shí)計(jì)算和實(shí)時(shí)查詢。

OpenTSDB是基于HBase的分布式可擴(kuò)展時(shí)序數(shù)據(jù)庫。OpenTSDB可以用來處理一個(gè)一般的需求:存儲(chǔ)、索引和服務(wù)從大規(guī)模計(jì)算機(jī)系統(tǒng)(網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)和應(yīng)用系統(tǒng))收集的參數(shù)數(shù)據(jù)，并使這些數(shù)據(jù)易于訪問和可視化。因?yàn)镺penTSDB解決了基礎(chǔ)設(shè)施監(jiān)控的普遍性問題，所以對于這本實(shí)用的書來說是一個(gè)很棒的項(xiàng)目。

首先，從大數(shù)據(jù)本身來看，大數(shù)據(jù)從采集、存儲(chǔ)、計(jì)算、分析、可視化分享等處理過程的價(jià)值在于基于業(yè)務(wù)理解的關(guān)聯(lián)預(yù)測，需要技術(shù)算法架構(gòu)等能力的支撐，同時(shí)注重?cái)?shù)據(jù)安全和隱私保護(hù)。大數(shù)據(jù)是一個(gè)團(tuán)隊(duì)的工作，不是一個(gè)人能做到的。其次，從你的專業(yè)來看，你的網(wǎng)絡(luò)工程偏于組網(wǎng)，橫向數(shù)據(jù)的脈絡(luò)比較清晰?？梢越Y(jié)合自己的興趣發(fā)展到大數(shù)據(jù)處理流程的某些方面，比如數(shù)據(jù)安全考慮。

DW數(shù)據(jù)倉庫是面向主題的，反映歷史變化數(shù)據(jù)并支持管理決策。ODS業(yè)務(wù)數(shù)據(jù)存儲(chǔ)，存儲(chǔ)當(dāng)前數(shù)據(jù)狀況，向用戶提供當(dāng)前狀態(tài)，并提供實(shí)時(shí)、業(yè)務(wù)和綜合信息。作為從數(shù)據(jù)庫到數(shù)據(jù)倉庫的過渡形式，ODS在物理結(jié)構(gòu)上不同于數(shù)據(jù)倉庫，可以提供高性能的響應(yīng)時(shí)間。ODS設(shè)計(jì)采用混合設(shè)計(jì)方法。ODS中的數(shù)據(jù)是實(shí)時(shí)值，

在我看來，一個(gè)完整的大數(shù)據(jù)平臺(tái)應(yīng)該提供離線計(jì)算、即席查詢、實(shí)時(shí)計(jì)算和實(shí)時(shí)查詢。Hadoop、spark和storm無法單獨(dú)完成上述所有功能。Hadoop spark hive是個(gè)不錯(cuò)的選擇。hadoop的HDFS無疑是分布式文件系統(tǒng)的解決方案，解決了存儲(chǔ)問題。Hadoopmapreduce、hive、sparkapplication、sparkSQL解決了離線計(jì)算和即席查詢的問題。

另外還需要HBase或Redis等NOSQL技術(shù)來解決實(shí)時(shí)查詢的問題；除了這些，大數(shù)據(jù)平臺(tái)中任務(wù)調(diào)度系統(tǒng)和數(shù)據(jù)交換工具也是不可或缺的；任務(wù)調(diào)度系統(tǒng)解決了所有大數(shù)據(jù)平臺(tái)中的任務(wù)調(diào)度和監(jiān)控；數(shù)據(jù)交換工具解決了其他數(shù)據(jù)源與HDFS之間的數(shù)據(jù)傳輸，如:數(shù)據(jù)庫到HDFS，HDFS到數(shù)據(jù)庫等等。關(guān)于大數(shù)據(jù)平臺(tái)架構(gòu)的技術(shù)文章，可以搜索lxw的大數(shù)據(jù)領(lǐng)域，里面有很多。

如果是分析師方向，建議需要掌握最基礎(chǔ)的sql，還需要掌握一些大數(shù)據(jù)組件，比如hive、sparksql、presto等。當(dāng)然，excel的常用視角也是一項(xiàng)基本功。1、計(jì)算機(jī)語言:python語言、Java語言。提示(如果要處理幾千萬的數(shù)據(jù)，還是要懂Java語言)2。高數(shù)、線性代數(shù)、概率論基礎(chǔ)知識(shí)。