【簡(jiǎn)介】在學(xué)習(xí)過(guò)程中，大家一直非常重視打基礎(chǔ)的部分?；A(chǔ)打好了，才能真正在后續(xù)發(fā)展中受益，才能更快成長(zhǎng)。作為一個(gè)大數(shù)據(jù)行業(yè)小白，想要成為一個(gè)大數(shù)據(jù) 工程師，需要掌握一些知識(shí)和技巧。那么小白需要掌握哪些知識(shí)和技能才能成為大數(shù)據(jù) 工程師？讓我們仔細(xì)看看。1、學(xué)大數(shù)據(jù)，前期主要打基礎(chǔ)，包括java基礎(chǔ)和Linux基礎(chǔ)，然后正式進(jìn)入da 數(shù)據(jù)技術(shù)的階段學(xué)習(xí)。

作為IT職業(yè)中的“大熊貓”，Da 數(shù)據(jù) 工程師是國(guó)內(nèi)人才市場(chǎng)上一顆閃亮的星星。因?yàn)閯倓偲鸩?，這個(gè)領(lǐng)域人才缺口很大。Da 數(shù)據(jù)是目前最感性的技術(shù)名稱之一，而Da 數(shù)據(jù)行業(yè)的快速發(fā)展自然催生了一些與Da 數(shù)據(jù)相關(guān)的職業(yè)，如互聯(lián)網(wǎng)數(shù)據(jù)分析師。

和數(shù)據(jù)科學(xué)家的職位也開(kāi)始在電信、零售、金融、制造、物流、醫(yī)療、教育等美國(guó)傳統(tǒng)行業(yè)創(chuàng)造價(jià)值。但在國(guó)內(nèi)，Da 數(shù)據(jù) application只是一顆海平面新星，還不夠成熟，不夠亮眼。所以，更多的公司會(huì)根據(jù)自己現(xiàn)有的資源和短板，招聘能夠與現(xiàn)有團(tuán)隊(duì)互補(bǔ)的人才，幫助公司發(fā)展，而不是指望一個(gè)通才來(lái)完成整個(gè)鏈條上的所有環(huán)節(jié)。

首先要了解Java語(yǔ)言和Linux操作系統(tǒng)，這是學(xué)習(xí)Da 數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)順序不分先后。Big 數(shù)據(jù)Java:只知道一些基礎(chǔ)知識(shí)。Big 數(shù)據(jù)不需要很深的Java技術(shù)，學(xué)習(xí)javaSE相當(dāng)于學(xué)習(xí)big 數(shù)據(jù)基礎(chǔ)。Linux:因?yàn)橄嚓P(guān)的軟件都運(yùn)行在Linux上，所以你要把Linux學(xué)得更扎實(shí)。學(xué)好Linux對(duì)你快速掌握相關(guān)技術(shù)會(huì)有很大的幫助?？梢愿玫牧私鈎adoop、hive、hbase、spark等大型數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，通過(guò)學(xué)習(xí)shell可以了解腳本，更容易理解和配置大型數(shù)據(jù)集群。

不同公司對(duì)數(shù)據(jù)分析師的定位略有不同。在一些中小企業(yè)中，在沒(méi)有建立獨(dú)立的數(shù)據(jù)中心之前，數(shù)據(jù)分析的相關(guān)崗位往往歸市場(chǎng)部和運(yùn)營(yíng)部管轄，人數(shù)通常在2至4人不等。對(duì)于一些大型企業(yè)，有獨(dú)立的數(shù)據(jù)分析部門(mén)，團(tuán)隊(duì)成員從幾十人到上百人不等。對(duì)于職稱，有的是按行政級(jí)別分類，如專員、主管、經(jīng)理、主任等。有的是按專業(yè)級(jí)別分類，助理、資深、資深、專家。

1，需要學(xué)習(xí)Java的基礎(chǔ)很多人對(duì)學(xué)習(xí)Java很好奇數(shù)據(jù)需要學(xué)習(xí)Java嗎？正確答案是肯定的。一方面，Java是目前應(yīng)用最廣泛的編程語(yǔ)言，它有很多特點(diǎn)，特別適合作為大型數(shù)據(jù)應(yīng)用的開(kāi)發(fā)語(yǔ)言；另一方面，Hadoop等很多大型數(shù)據(jù)處理技術(shù)都是用Java開(kāi)發(fā)的，比如Apache的基于Java的HBase、Accumulo和ElasticSearchas。所以學(xué)習(xí)Hadoop的一個(gè)首要條件就是掌握J(rèn)ava編程。

Hadoop是開(kāi)源的分布式計(jì)算 分布式存儲(chǔ)平臺(tái)，是一個(gè)大型的數(shù)據(jù)基礎(chǔ)設(shè)施?？梢源罱≒B級(jí)的大型數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)儲(chǔ)、加工、分析、統(tǒng)計(jì)等服務(wù)。在這個(gè)階段，你必須掌握Hadoop的核心組件，包括分布式文件系統(tǒng)HDFS、資源調(diào)度管理系統(tǒng)YARN和分布式計(jì)算框架MapReduce。

從兩個(gè)方面來(lái)說(shuō)，一方面是專業(yè)領(lǐng)域的硬實(shí)力，一方面是職場(chǎng)發(fā)展中的軟實(shí)力:專業(yè)技能的實(shí)力，這一點(diǎn)對(duì)于Da數(shù)據(jù)Development工程師來(lái)說(shuō)非常關(guān)鍵。這就決定了你能在技術(shù)面試中讓面試官相信你有這個(gè)職位所需要的能力，1.掌握至少一門(mén)編程語(yǔ)言，掌握J(rèn)ava必不可少，如果能同時(shí)熟悉Python和Scala就更好了。2.掌握Linux操作系統(tǒng)的企業(yè)80%以上使用Linux操作系統(tǒng)搭建云計(jì)算和大數(shù)據(jù)平臺(tái)，所以大數(shù)據(jù)開(kāi)發(fā)對(duì)于Linux是必要的。