為什么選擇spark進行大數據處理？大數據處理為什么選擇Spark而不是Hadoop？Spark:該工具用于彌補MapReduce在處理數據方面的不足，其特點是將數據加載到內存中進行計算。1.大數據工具:數據存儲和管理工具大數據完全從數據存儲開始，也就是說從Hadoop這種大數據框架開始。

第一步:對于大數據的基本認知，首先要了解什么是大數據，它未來的發(fā)展方向和應用場景是什么？當然，很多從業(yè)者和學者往往看重大數據行業(yè)的薪酬水平。這種考慮是正確的，但對于深入理解大數據沒有實際意義。第二步:理論知識學習的過程尤為重要。畢竟是學習大數據的關鍵。而且，這個過程需要更加系統(tǒng)化。如何循序漸進、有目的地學習將是小白更快學習大數據的關鍵。

1.Java:主要是Java的標準版本，JavaSE。JavaEE，javaME技術在大數據技術中用的不多，只需要了解一下。另外，JDBC一定要掌握，因為這關系到Java和數據庫的連接。2.Linux:因為大數據相關的軟件都運行在Linux上，所以要更扎實的學習Linux。學好Linux對你快速掌握大數據相關技術有很大的幫助，可以讓你更好的了解hadoop、hive、hbase、spark等大數據軟件的運行環(huán)境和網絡環(huán)境配置。

首先我們需要了解Java語言和Linux操作系統(tǒng)，這是學習大數據的基礎，學習的順序是不分先后的。樓主JAVA畢業(yè)，無疑是一個極好的開端和基石?？梢哉f他贏在了起跑線上，接收和吸收大數據領域的知識會比普通人更加得心應手。Java:只要懂一些基礎，做大數據不需要很深的Java技術。學習javaSE相當于學習大數據。基礎Linux:因為大數據相關的軟件運行在Linux上，所以要把Linux學扎實。學好Linux對你快速掌握大數據相關技術有很大的幫助，能讓你更好的了解hadoop、hive、hbase、spark等大數據軟件的運行環(huán)境和網絡環(huán)境配置。，讓你少踩幾個坑，學會shell理解腳本，讓你更容易理解和配置大數據集群。

學習大數據，首先要學習Java語言和Linux操作系統(tǒng)，這是學習大數據的基礎，學習的順序不分先后。大家都知道Java的方向是JavaSE，JavaEE，JavaME。學習大數據應該學習哪個方向？你只需要學習JavaSE，Java的標準版本。Servlet、JSP、Tomcat、Struts、Spring、Hibernate、Mybatis都是JavaEE方向的技術。大數據技術用的技術不多，知道就行。當然，你仍然需要知道Java是如何連接到數據庫的，比如JDBC。

一般對于大數據分析，會首先使用大數據數據庫，比如MongoDB、GBase等。其次，我們將使用數據倉庫工具對數據進行清洗、轉換和處理，以獲得有價值的數據。然后用數據建模工具建模。最后，利用大數據工具進行可視化分析。根據上面的描述，我們討論根據流程使用的工具。1.大數據工具:數據存儲和管理工具大數據完全從數據存儲開始，也就是說從Hadoop這種大數據框架開始。

因為大數據需要大量的信息，所以存儲非常重要。但是除了存儲之外，我們還需要某種方式將所有這些數據聚合到某種格式/治理結構中，以獲得洞察力。2.大數據工具:數據清理工具使用數據倉庫工具Hive。Hive基于Hadoop分布式文件系統(tǒng)，其數據存儲在HDFS。Hive本身沒有特殊的數據存儲格式，也沒有數據的索引。Hive只有在創(chuàng)建表時告知Hive數據中的列分隔符和行分隔符，才能解析數據。

Zookeeper:安裝Hadoop的HA時會用到，以后的Hbase也會用到。需要正確安裝才能正常運行。Mysql:在Linux上安裝運行時，會配置簡單的權限，修改root密碼，創(chuàng)建數據庫。Sqoop:用于將數據從Mysal導入Hadoop。蜂巢:和豬一樣，想變得偉大，都可以學習。

Hbase:這是Hadoop生態(tài)系統(tǒng)中的NOSQL數據庫，以鍵和值的形式存儲，鍵是唯一的。這樣我就可以幫助您進行重復數據刪除。與MYSQL相比，它存儲了大量的數據。卡夫卡:這是排隊工具。它可以用于在線實時數據存儲或HDFS，與Flume工具結合使用，提供簡單的數據處理。Spark:這個工具用來彌補MapReduce在處理數據方面的不足，其特點是將數據加載到內存中進行計算。

當人們想開始學習大數據時，最常問的問題是“我應該學習Hadoop(hadoop是一個開源軟件，主要用于分布式存儲和計算。它由HDFS和MapReduce計算框架組成，分別是Google的GFS和MapReduce的開源實現。Hadoop因其易用性和可擴展性成為最近流行的海量數據處理框架。分布式計算，Kafka(Kafka是LinkedIn開發(fā)的基于分布式發(fā)布/訂閱的消息系統(tǒng))，

而我通常只有一個答案:“這取決于你真正想做什么?！贝髷祿嚓P的工作？(1)大數據系統(tǒng)R