以Hadoop為例。存儲(chǔ)技能large數(shù)據(jù)可以抽象地分為大型數(shù)據(jù)存儲(chǔ)和大型數(shù)據(jù)分析，它們之間的關(guān)系是大型數(shù)據(jù)存儲(chǔ)的意圖是支持大型。至今仍有兩個(gè)世界的computer技能fields:Big數(shù)據(jù)Storage致力于開發(fā)可擴(kuò)展到PB甚至EB級(jí)別的存儲(chǔ)平臺(tái)；大型數(shù)據(jù)分析側(cè)重于在最短的時(shí)間內(nèi)處理大量不同類型的數(shù)據(jù)集合。知覺的收集技能 Da 數(shù)據(jù)與知覺的發(fā)展技能密切相關(guān)。

首先要了解Java語言和Linux操作系統(tǒng)，這是學(xué)習(xí)Da 數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)順序不分先后。Big 數(shù)據(jù)Java:只知道一些基礎(chǔ)知識(shí)。Big 數(shù)據(jù)不需要很深的Java技術(shù)，學(xué)習(xí)javaSE相當(dāng)于學(xué)習(xí)big 數(shù)據(jù)基礎(chǔ)。Linux:因?yàn)橄嚓P(guān)的軟件都運(yùn)行在Linux上，所以你要把Linux學(xué)得更扎實(shí)。學(xué)好Linux對(duì)你快速掌握相關(guān)技術(shù)會(huì)有很大的幫助?？梢愿玫牧私鈎adoop、hive、hbase、spark等大型數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，通過學(xué)習(xí)shell可以了解腳本，更容易理解和配置大型數(shù)據(jù)集群。

目前無論是企業(yè)還是個(gè)人生活工作都需要極大的關(guān)注數(shù)據(jù)分析工作。畢竟數(shù)據(jù)分析幫助企業(yè)和個(gè)人更好的發(fā)展。要想做好數(shù)據(jù)的分析，就要了解數(shù)據(jù)的分析方法和技巧。常用的數(shù)據(jù)分析方法如下:1?？梢暬治龃髷?shù)據(jù)分析的用戶包括大數(shù)據(jù)分析師和普通用戶。所以“Da-1”分析最基本的要求就是做可視化分析，因?yàn)榭梢暬治隹梢灾庇^的呈現(xiàn)Da 數(shù)據(jù)的特點(diǎn)，也便于讀者理解。

2.數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心是數(shù)據(jù)挖掘算法?；诓煌臄?shù)據(jù)類型和格式類型，各種數(shù)據(jù)挖掘算法科學(xué)地呈現(xiàn)了數(shù)據(jù)本身的特點(diǎn)。只有全世界統(tǒng)計(jì)學(xué)家認(rèn)可的統(tǒng)計(jì)方法才能滲透到數(shù)據(jù)。在其中，發(fā)現(xiàn)公認(rèn)的價(jià)值。另一方面，也正是因?yàn)橛辛诉@些數(shù)據(jù)挖掘算法，大的數(shù)據(jù)才能處理得更快。3.預(yù)測分析最重要的應(yīng)用領(lǐng)域之一就是預(yù)測分析，從大數(shù)據(jù)中挖掘特征，科學(xué)地建立模型，然后通過模型引入新數(shù)據(jù)來預(yù)測未來。

至少掌握一門數(shù)據(jù)庫開發(fā)技術(shù):Oracle、Teradata、DBMysql等。，并靈活運(yùn)用SQL實(shí)現(xiàn)海量數(shù)據(jù)ETL處理。熟悉Linux系統(tǒng)的常規(guī)shell處理命令，靈活運(yùn)用shell進(jìn)行文本處理和系統(tǒng)操作。編程語言:編碼和開發(fā)能力是工程師必備-1技能，要熟悉Python、C/C 、Java、Perl、Golang或其他語言。

對(duì)于big 數(shù)據(jù)工程師來說，你至少要掌握以下這些技能:一個(gè)JVM語言:目前big 數(shù)據(jù) eco-JVM語言類的比重非常大，從某種程度上來說并不為過。這里推薦你學(xué)習(xí)Java或者Scala。至于Clojure之類的語言，入門不容易，但是不建議你使用。測試專業(yè)技能、軟件編程技能、網(wǎng)絡(luò)、操作系統(tǒng)、數(shù)據(jù)庫、中間件(web容器)等知識(shí)?，F(xiàn)在軟件測試已經(jīng)成為一個(gè)潛在的專業(yè)。

數(shù)據(jù)Analysis技能、一兩個(gè)數(shù)據(jù)分析軟件sas、和數(shù)據(jù)存儲(chǔ)軟件sql等。大型數(shù)據(jù)開發(fā)一般需要編程能力。就我3年多的經(jīng)歷來看，有編程能力會(huì)獲得更好的發(fā)展。大數(shù)據(jù)開發(fā)一般包括三類:倉庫開發(fā)、數(shù)據(jù)分析和數(shù)據(jù)開發(fā)，每一類的要求都不一樣。但是都有很多共同點(diǎn)技能。Universal 技能:除了基本的Sql能力，包括傳統(tǒng)的Mysql和Oracle 數(shù)據(jù)庫，以及Hive、Hbase等分布式數(shù)據(jù)庫；當(dāng)然Java編程能力是必不可少的，其他方面比如Mapreduce和Spark會(huì)更好。

倉庫開發(fā):你必須知道如何對(duì)倉庫建模，比如維度表、事實(shí)表、主題表、星型模型、雪花型模型等。你必須對(duì)業(yè)務(wù)非常熟悉，有全局觀，才能建立數(shù)據(jù)倉庫，數(shù)據(jù)Development:數(shù)據(jù)有離線開發(fā)和實(shí)時(shí)開發(fā)，更多的是后端開發(fā)，類似java的按需開發(fā)，加上日常維護(hù)。數(shù)據(jù)分析:這個(gè)需要很強(qiáng)的sql知識(shí)，如果能用python分析數(shù)據(jù)就更好了。