獲取大數(shù)據(jù)后，利用這些數(shù)據(jù)去做:數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)分析和數(shù)據(jù)可視化。大數(shù)據(jù)的核心功能是數(shù)據(jù)價值，簡單來說，大數(shù)據(jù)讓數(shù)據(jù)產(chǎn)生各種“價值”，這個數(shù)據(jù)價值的過程才是大數(shù)據(jù)應該做的主要事情，大數(shù)據(jù)行業(yè)的數(shù)據(jù)準確嗎？在我看來，一個完整的大數(shù)據(jù)平臺應該提供離線計算、即席查詢、實時計算和實時查詢。

OpenTSDB是基于HBase的分布式可擴展時序數(shù)據(jù)庫。OpenTSDB可以用來處理一個一般的需求:存儲、索引和服務從大規(guī)模計算機系統(tǒng)(網(wǎng)絡設備、操作系統(tǒng)和應用系統(tǒng))收集的參數(shù)數(shù)據(jù)，并使這些數(shù)據(jù)易于訪問和可視化。因為OpenTSDB解決了基礎設施監(jiān)控的普遍性問題，所以對于這本實用的書來說是一個很棒的項目。

首先，從大數(shù)據(jù)本身來看，大數(shù)據(jù)從采集、存儲、計算、分析、可視化分享等處理過程的價值在于基于業(yè)務理解的關(guān)聯(lián)預測，需要技術(shù)算法架構(gòu)等能力的支撐，同時注重數(shù)據(jù)安全和隱私保護。大數(shù)據(jù)是一個團隊的工作，不是一個人能做到的。其次，從你的專業(yè)來看，你的網(wǎng)絡工程偏于組網(wǎng)，橫向數(shù)據(jù)的脈絡比較清晰?？梢越Y(jié)合自己的興趣發(fā)展到大數(shù)據(jù)處理流程的某些方面，比如數(shù)據(jù)安全考慮。

DW數(shù)據(jù)倉庫是面向主題的，反映歷史變化數(shù)據(jù)并支持管理決策。ODS業(yè)務數(shù)據(jù)存儲，存儲當前數(shù)據(jù)狀況，向用戶提供當前狀態(tài)，并提供實時、業(yè)務和綜合信息。作為從數(shù)據(jù)庫到數(shù)據(jù)倉庫的過渡形式，ODS在物理結(jié)構(gòu)上不同于數(shù)據(jù)倉庫，可以提供高性能的響應時間。ODS設計采用混合設計方法。ODS中的數(shù)據(jù)是實時值，

在我看來，一個完整的大數(shù)據(jù)平臺應該提供離線計算、即席查詢、實時計算和實時查詢。Hadoop、spark和storm無法單獨完成上述所有功能。Hadoop spark hive是個不錯的選擇。hadoop的HDFS無疑是分布式文件系統(tǒng)的解決方案，解決了存儲問題。Hadoopmapreduce、hive、sparkapplication、sparkSQL解決了離線計算和即席查詢的問題。

另外還需要HBase或Redis等NOSQL技術(shù)來解決實時查詢的問題；除了這些，大數(shù)據(jù)平臺中任務調(diào)度系統(tǒng)和數(shù)據(jù)交換工具也是不可或缺的；任務調(diào)度系統(tǒng)解決了所有大數(shù)據(jù)平臺中的任務調(diào)度和監(jiān)控；數(shù)據(jù)交換工具解決了其他數(shù)據(jù)源與HDFS之間的數(shù)據(jù)傳輸，如:數(shù)據(jù)庫到HDFS，HDFS到數(shù)據(jù)庫等等。關(guān)于大數(shù)據(jù)平臺架構(gòu)的技術(shù)文章，可以搜索lxw的大數(shù)據(jù)領(lǐng)域，里面有很多。

如果是分析師方向，建議需要掌握最基礎的sql，還需要掌握一些大數(shù)據(jù)組件，比如hive、sparksql、presto等。當然，excel的常用視角也是一項基本功。1、計算機語言:python語言、Java語言。提示(如果要處理幾千萬的數(shù)據(jù)，還是要懂Java語言)2。高數(shù)、線性代數(shù)、概率論基礎知識。