Hadoop已經(jīng)成為大數(shù)據(jù)技術事實上的標準，HadoopMapReduce也非常適合大規(guī)模數(shù)據(jù)集的批量處理，但是它仍然存在一些缺陷。hadoop是做什么的？Hadoop適合實時數(shù)據(jù)庫嗎？作為大數(shù)據(jù)處理技術，Spark經(jīng)常被拿來和Hadoop做比較。

首先我們需要了解Java語言和Linux操作系統(tǒng)，這是學習大數(shù)據(jù)的基礎，學習的順序是不分先后的。樓主JAVA畢業(yè)，無疑是一個極好的開端和基石?？梢哉f他贏在了起跑線上，接收和吸收大數(shù)據(jù)領域的知識會比普通人更加得心應手。Java:只要懂一些基礎，做大數(shù)據(jù)不需要很深的Java技術。學習javaSE相當于學習大數(shù)據(jù)?；ALinux:因為大數(shù)據(jù)相關的軟件運行在Linux上，所以要把Linux學扎實。學好Linux對你快速掌握大數(shù)據(jù)相關技術有很大的幫助，能讓你更好的了解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡環(huán)境配置。，讓你少踩幾個坑，學會shell理解腳本，讓你更容易理解和配置大數(shù)據(jù)集群。

簡單來說，就是學習Java、數(shù)據(jù)結(jié)構(gòu)、關系數(shù)據(jù)庫、linux系統(tǒng)操作、hadoop離線分析、風暴實時計算、spark內(nèi)存計算等實用課程。復雜的話，每個大知識點都包含很多小知識點，可以參考(青牛的課程)。老男孩教育的大數(shù)據(jù)培訓課程有:Java、Linux、Hadoop、Hive、Avro和Protobuf、ZooKeeper、HBase、Phoenix、Redis、Flume、SSM、Kafka、Scala、Spark、azkaban、Python和大數(shù)據(jù)分析。

大數(shù)據(jù)包含幾個內(nèi)涵。1.有大量的數(shù)據(jù)，比如TB，PB，甚至EB，需要分析處理。2.要求快速反應，市場變化快，要求對變化做出及時快速的反應。對數(shù)據(jù)的分析也要快，對性能有更高的要求，所以數(shù)據(jù)量對于速度來說似乎有些“大”。3.數(shù)據(jù)多樣性:來自不同數(shù)據(jù)源的非結(jié)構(gòu)化數(shù)據(jù)越來越多，需要經(jīng)過清洗、排序、過濾，成為結(jié)構(gòu)化數(shù)據(jù)。

很多行業(yè)都會有大數(shù)據(jù)需求，比如電信行業(yè)、互聯(lián)網(wǎng)行業(yè)等容易產(chǎn)生大量數(shù)據(jù)的行業(yè)。很多傳統(tǒng)行業(yè)，如醫(yī)藥、教育、礦業(yè)、電力等行業(yè)，都會有大數(shù)據(jù)需求。隨著業(yè)務的不斷擴展和歷史數(shù)據(jù)的不斷增加，數(shù)據(jù)量的增長是持續(xù)的。如果需要分析大數(shù)據(jù)，可以使用Hadoop等開源大數(shù)據(jù)項目，也可以使用YonghongZSuite等商業(yè)大數(shù)據(jù)BI工具。

Spark是處理海量數(shù)據(jù)的快速通用引擎。作為大數(shù)據(jù)處理技術，Spark經(jīng)常被拿來和Hadoop做比較。Hadoop已經(jīng)成為大數(shù)據(jù)技術事實上的標準，HadoopMapReduce也非常適合大規(guī)模數(shù)據(jù)集的批量處理，但是它仍然存在一些缺陷。具體表現(xiàn)為:1。HadoopMapRedue的表達能力有限。所有的計算都需要轉(zhuǎn)化為Map和Reduce兩種操作，這兩種操作并不適合所有的場景，也難以描述復雜的數(shù)據(jù)處理過程。

HadoopMapReduce要求每一步之間的數(shù)據(jù)都要序列化到磁盤上，所以I/O成本很高，導致交互分析和迭代算法的開銷很高，而幾乎所有的優(yōu)化和機器學習都是迭代的。所以HadoopMapReduce不適合交互分析和機器學習。3.計算延遲很高。如果要完成更復雜的工作，必須串聯(lián)一系列MapReduce作業(yè)，然后按順序執(zhí)行。

Storm相比Spark和hadoop有優(yōu)勢。Storm的優(yōu)勢在于它是一個實時連續(xù)的分布式計算框架。它一旦運行，就會一直處理計算中或者等待計算的狀態(tài)，除非你殺了它。Spark和Hadoop做不到。當然，它們各有各的應用場景。各有各的優(yōu)勢?？梢砸黄鹩?。我來翻一翻別人的資料，說的很清楚。Storm、Spark、Hadoop各有千秋，每個框架都有自己的最佳應用場景。

Storm是流式計算的最佳框架。Storm是用Java和Clojure寫的。Storm的優(yōu)勢是全內(nèi)存計算，所以它的定位是分布式實時計算系統(tǒng)。按照Storm作者的說法，Storm對于實時計算的意義類似于Hadoop對于批處理的意義。Storm的適用場景:1)流數(shù)據(jù)處理Storm可以用來處理連續(xù)流動的消息，處理后再將結(jié)果寫入一個存儲器。

Hadoop FAQ(1)Hadoop是否適合電子政務？為什么？電子政務是利用互聯(lián)網(wǎng)技術實現(xiàn)政府組織結(jié)構(gòu)和工作流程的重組和優(yōu)化，構(gòu)建精簡、高效、廉潔、公正的政府運行信息服務平臺。因此，電子政務必然會產(chǎn)生大量的數(shù)據(jù)和相應的計算需求，而當這兩個需求所涉及的數(shù)據(jù)和計算達到一定規(guī)模時，傳統(tǒng)的系統(tǒng)架構(gòu)將無法滿足，因此需要使用海量數(shù)據(jù)處理平臺，比如Hadoop技術，那么我們就可以使用Hadoop技術來構(gòu)建電子政務云平臺。

Hadoop實現(xiàn)了一個分布式文件系統(tǒng)，它被設計為部署在低成本的硬件上。而且還提供了訪問應用程序數(shù)據(jù)的高吞吐量，這適用于那些具有非常大的數(shù)據(jù)集的應用程序。Hadoop因其在數(shù)據(jù)提取、變形和加載(ETL)方面的天然優(yōu)勢，可以廣泛應用于大數(shù)據(jù)處理應用。Hadoop的分布式架構(gòu)使得大數(shù)據(jù)處理引擎盡可能的靠近存儲，相對適合ETL等批量操作，因為這類操作的批量結(jié)果可以直接去存儲。

Twitter的Storm更好的支持實時數(shù)據(jù)，hadoop更適合批量處理。如果使用hbase，也可以。Hadoop一般用于冷數(shù)據(jù)處理。對于實時數(shù)據(jù)，如果你必須使用它，你可以用不同的方式使用它。方法一:在hadoop上使用hbase數(shù)據(jù)庫，以為hbase不帶Map/Reduce，所以操作在毫秒級別。方法二:業(yè)務數(shù)據(jù)按程序分為實時數(shù)據(jù)和冷數(shù)據(jù)，實時數(shù)據(jù)存儲在關系數(shù)據(jù)庫中，冷數(shù)據(jù)存儲在hadoop中。

由Apache基金會開發(fā)的分布式系統(tǒng)基礎結(jié)構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下開發(fā)分布式程序，充分利用集群的力量進行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)，其中之一就是HDFS。HDFS具有高容錯性的特點，設計用于部署在低成本的硬件上。此外，它還提供了訪問應用數(shù)據(jù)的高吞吐量，適用于數(shù)據(jù)集較大的應用。

1。大數(shù)據(jù)的主要課程有哪些？首先需要了解Java語言和Linux操作系統(tǒng)，這是學習大數(shù)據(jù)的基礎，學習順序不分先后，Java:只要懂一些基礎，做大數(shù)據(jù)不需要很深的Java技術。學習javaSE相當于學習大數(shù)據(jù)，基礎Linux:因為大數(shù)據(jù)相關的軟件運行在Linux上，所以要把Linux學扎實。學好Linux對你快速掌握大數(shù)據(jù)相關技術有很大的幫助，能讓你更好的了解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡環(huán)境配置，，讓你少踩幾個坑，學會shell理解腳本，讓你更容易理解和配置大數(shù)據(jù)集群。