為什么選擇spark進(jìn)行大數(shù)據(jù)處理？大數(shù)據(jù)處理為什么選擇Spark而不是Hadoop？Spark:該工具用于彌補(bǔ)MapReduce在處理數(shù)據(jù)方面的不足，其特點(diǎn)是將數(shù)據(jù)加載到內(nèi)存中進(jìn)行計(jì)算。1.大數(shù)據(jù)工具:數(shù)據(jù)存儲(chǔ)和管理工具大數(shù)據(jù)完全從數(shù)據(jù)存儲(chǔ)開(kāi)始，也就是說(shuō)從Hadoop這種大數(shù)據(jù)框架開(kāi)始。

第一步:對(duì)于大數(shù)據(jù)的基本認(rèn)知，首先要了解什么是大數(shù)據(jù)，它未來(lái)的發(fā)展方向和應(yīng)用場(chǎng)景是什么？當(dāng)然，很多從業(yè)者和學(xué)者往往看重大數(shù)據(jù)行業(yè)的薪酬水平。這種考慮是正確的，但對(duì)于深入理解大數(shù)據(jù)沒(méi)有實(shí)際意義。第二步:理論知識(shí)學(xué)習(xí)的過(guò)程尤為重要。畢竟是學(xué)習(xí)大數(shù)據(jù)的關(guān)鍵。而且，這個(gè)過(guò)程需要更加系統(tǒng)化。如何循序漸進(jìn)、有目的地學(xué)習(xí)將是小白更快學(xué)習(xí)大數(shù)據(jù)的關(guān)鍵。

1.Java:主要是Java的標(biāo)準(zhǔn)版本，JavaSE。JavaEE，javaME技術(shù)在大數(shù)據(jù)技術(shù)中用的不多，只需要了解一下。另外，JDBC一定要掌握，因?yàn)檫@關(guān)系到Java和數(shù)據(jù)庫(kù)的連接。2.Linux:因?yàn)榇髷?shù)據(jù)相關(guān)的軟件都運(yùn)行在Linux上，所以要更扎實(shí)的學(xué)習(xí)Linux。學(xué)好Linux對(duì)你快速掌握大數(shù)據(jù)相關(guān)技術(shù)有很大的幫助，可以讓你更好的了解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置。

首先我們需要了解Java語(yǔ)言和Linux操作系統(tǒng)，這是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)的順序是不分先后的。樓主JAVA畢業(yè)，無(wú)疑是一個(gè)極好的開(kāi)端和基石?？梢哉f(shuō)他贏在了起跑線上，接收和吸收大數(shù)據(jù)領(lǐng)域的知識(shí)會(huì)比普通人更加得心應(yīng)手。Java:只要懂一些基礎(chǔ)，做大數(shù)據(jù)不需要很深的Java技術(shù)。學(xué)習(xí)javaSE相當(dāng)于學(xué)習(xí)大數(shù)據(jù)?；A(chǔ)Linux:因?yàn)榇髷?shù)據(jù)相關(guān)的軟件運(yùn)行在Linux上，所以要把Linux學(xué)扎實(shí)。學(xué)好Linux對(duì)你快速掌握大數(shù)據(jù)相關(guān)技術(shù)有很大的幫助，能讓你更好的了解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運(yùn)行環(huán)境和網(wǎng)絡(luò)環(huán)境配置。，讓你少踩幾個(gè)坑，學(xué)會(huì)shell理解腳本，讓你更容易理解和配置大數(shù)據(jù)集群。

學(xué)習(xí)大數(shù)據(jù)，首先要學(xué)習(xí)Java語(yǔ)言和Linux操作系統(tǒng)，這是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)的順序不分先后。大家都知道Java的方向是JavaSE，JavaEE，JavaME。學(xué)習(xí)大數(shù)據(jù)應(yīng)該學(xué)習(xí)哪個(gè)方向？你只需要學(xué)習(xí)JavaSE，Java的標(biāo)準(zhǔn)版本。Servlet、JSP、Tomcat、Struts、Spring、Hibernate、Mybatis都是JavaEE方向的技術(shù)。大數(shù)據(jù)技術(shù)用的技術(shù)不多，知道就行。當(dāng)然，你仍然需要知道Java是如何連接到數(shù)據(jù)庫(kù)的，比如JDBC。

一般對(duì)于大數(shù)據(jù)分析，會(huì)首先使用大數(shù)據(jù)數(shù)據(jù)庫(kù)，比如MongoDB、GBase等。其次，我們將使用數(shù)據(jù)倉(cāng)庫(kù)工具對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和處理，以獲得有價(jià)值的數(shù)據(jù)。然后用數(shù)據(jù)建模工具建模。最后，利用大數(shù)據(jù)工具進(jìn)行可視化分析。根據(jù)上面的描述，我們討論根據(jù)流程使用的工具。1.大數(shù)據(jù)工具:數(shù)據(jù)存儲(chǔ)和管理工具大數(shù)據(jù)完全從數(shù)據(jù)存儲(chǔ)開(kāi)始，也就是說(shuō)從Hadoop這種大數(shù)據(jù)框架開(kāi)始。

因?yàn)榇髷?shù)據(jù)需要大量的信息，所以存儲(chǔ)非常重要。但是除了存儲(chǔ)之外，我們還需要某種方式將所有這些數(shù)據(jù)聚合到某種格式/治理結(jié)構(gòu)中，以獲得洞察力。2.大數(shù)據(jù)工具:數(shù)據(jù)清理工具使用數(shù)據(jù)倉(cāng)庫(kù)工具Hive。Hive基于Hadoop分布式文件系統(tǒng)，其數(shù)據(jù)存儲(chǔ)在HDFS。Hive本身沒(méi)有特殊的數(shù)據(jù)存儲(chǔ)格式，也沒(méi)有數(shù)據(jù)的索引。Hive只有在創(chuàng)建表時(shí)告知Hive數(shù)據(jù)中的列分隔符和行分隔符，才能解析數(shù)據(jù)。

Zookeeper:安裝Hadoop的HA時(shí)會(huì)用到，以后的Hbase也會(huì)用到。需要正確安裝才能正常運(yùn)行。Mysql:在Linux上安裝運(yùn)行時(shí)，會(huì)配置簡(jiǎn)單的權(quán)限，修改root密碼，創(chuàng)建數(shù)據(jù)庫(kù)。Sqoop:用于將數(shù)據(jù)從Mysal導(dǎo)入Hadoop。蜂巢:和豬一樣，想變得偉大，都可以學(xué)習(xí)。

Hbase:這是Hadoop生態(tài)系統(tǒng)中的NOSQL數(shù)據(jù)庫(kù)，以鍵和值的形式存儲(chǔ)，鍵是唯一的。這樣我就可以幫助您進(jìn)行重復(fù)數(shù)據(jù)刪除。與MYSQL相比，它存儲(chǔ)了大量的數(shù)據(jù)?？ǚ蚩?這是排隊(duì)工具。它可以用于在線實(shí)時(shí)數(shù)據(jù)存儲(chǔ)或HDFS，與Flume工具結(jié)合使用，提供簡(jiǎn)單的數(shù)據(jù)處理。Spark:這個(gè)工具用來(lái)彌補(bǔ)MapReduce在處理數(shù)據(jù)方面的不足，其特點(diǎn)是將數(shù)據(jù)加載到內(nèi)存中進(jìn)行計(jì)算。

當(dāng)人們想開(kāi)始學(xué)習(xí)大數(shù)據(jù)時(shí)，最常問(wèn)的問(wèn)題是“我應(yīng)該學(xué)習(xí)Hadoop(hadoop是一個(gè)開(kāi)源軟件，主要用于分布式存儲(chǔ)和計(jì)算。它由HDFS和MapReduce計(jì)算框架組成，分別是Google的GFS和MapReduce的開(kāi)源實(shí)現(xiàn)。Hadoop因其易用性和可擴(kuò)展性成為最近流行的海量數(shù)據(jù)處理框架。分布式計(jì)算，Kafka(Kafka是LinkedIn開(kāi)發(fā)的基于分布式發(fā)布/訂閱的消息系統(tǒng))，

而我通常只有一個(gè)答案:“這取決于你真正想做什么?！贝髷?shù)據(jù)相關(guān)的工作？(1)大數(shù)據(jù)系統(tǒng)R