Hadoop已經(jīng)成為大數(shù)據(jù)技術(shù)事實上的標準，HadoopMapReduce也非常適合大規(guī)模數(shù)據(jù)集的批量處理，但是它仍然存在一些缺陷。hadoop是做什么的？Hadoop適合實時數(shù)據(jù)庫嗎？作為大數(shù)據(jù)處理技術(shù)，Spark經(jīng)常被拿來和Hadoop做比較。

首先我們需要了解Java語言和Linux操作系統(tǒng)，這是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)的順序是不分先后的。樓主JAVA畢業(yè)，無疑是一個極好的開端和基石。可以說他贏在了起跑線上，接收和吸收大數(shù)據(jù)領(lǐng)域的知識會比普通人更加得心應(yīng)手。Java:只要懂一些基礎(chǔ)，做大數(shù)據(jù)不需要很深的Java技術(shù)。學(xué)習(xí)javaSE相當于學(xué)習(xí)大數(shù)據(jù)?；A(chǔ)Linux:因為大數(shù)據(jù)相關(guān)的軟件運行在Linux上，所以要把Linux學(xué)扎實。學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)有很大的幫助，能讓你更好的了解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡(luò)環(huán)境配置。，讓你少踩幾個坑，學(xué)會shell理解腳本，讓你更容易理解和配置大數(shù)據(jù)集群。

簡單來說，就是學(xué)習(xí)Java、數(shù)據(jù)結(jié)構(gòu)、關(guān)系數(shù)據(jù)庫、linux系統(tǒng)操作、hadoop離線分析、風(fēng)暴實時計算、spark內(nèi)存計算等實用課程。復(fù)雜的話，每個大知識點都包含很多小知識點，可以參考(青牛的課程)。老男孩教育的大數(shù)據(jù)培訓(xùn)課程有:Java、Linux、Hadoop、Hive、Avro和Protobuf、ZooKeeper、HBase、Phoenix、Redis、Flume、SSM、Kafka、Scala、Spark、azkaban、Python和大數(shù)據(jù)分析。

大數(shù)據(jù)包含幾個內(nèi)涵。1.有大量的數(shù)據(jù)，比如TB，PB，甚至EB，需要分析處理。2.要求快速反應(yīng)，市場變化快，要求對變化做出及時快速的反應(yīng)。對數(shù)據(jù)的分析也要快，對性能有更高的要求，所以數(shù)據(jù)量對于速度來說似乎有些“大”。3.數(shù)據(jù)多樣性:來自不同數(shù)據(jù)源的非結(jié)構(gòu)化數(shù)據(jù)越來越多，需要經(jīng)過清洗、排序、過濾，成為結(jié)構(gòu)化數(shù)據(jù)。

很多行業(yè)都會有大數(shù)據(jù)需求，比如電信行業(yè)、互聯(lián)網(wǎng)行業(yè)等容易產(chǎn)生大量數(shù)據(jù)的行業(yè)。很多傳統(tǒng)行業(yè)，如醫(yī)藥、教育、礦業(yè)、電力等行業(yè)，都會有大數(shù)據(jù)需求。隨著業(yè)務(wù)的不斷擴展和歷史數(shù)據(jù)的不斷增加，數(shù)據(jù)量的增長是持續(xù)的。如果需要分析大數(shù)據(jù)，可以使用Hadoop等開源大數(shù)據(jù)項目，也可以使用YonghongZSuite等商業(yè)大數(shù)據(jù)BI工具。

Spark是處理海量數(shù)據(jù)的快速通用引擎。作為大數(shù)據(jù)處理技術(shù)，Spark經(jīng)常被拿來和Hadoop做比較。Hadoop已經(jīng)成為大數(shù)據(jù)技術(shù)事實上的標準，HadoopMapReduce也非常適合大規(guī)模數(shù)據(jù)集的批量處理，但是它仍然存在一些缺陷。具體表現(xiàn)為:1。HadoopMapRedue的表達能力有限。所有的計算都需要轉(zhuǎn)化為Map和Reduce兩種操作，這兩種操作并不適合所有的場景，也難以描述復(fù)雜的數(shù)據(jù)處理過程。

HadoopMapReduce要求每一步之間的數(shù)據(jù)都要序列化到磁盤上，所以I/O成本很高，導(dǎo)致交互分析和迭代算法的開銷很高，而幾乎所有的優(yōu)化和機器學(xué)習(xí)都是迭代的。所以HadoopMapReduce不適合交互分析和機器學(xué)習(xí)。3.計算延遲很高。如果要完成更復(fù)雜的工作，必須串聯(lián)一系列MapReduce作業(yè)，然后按順序執(zhí)行。

Storm相比Spark和hadoop有優(yōu)勢。Storm的優(yōu)勢在于它是一個實時連續(xù)的分布式計算框架。它一旦運行，就會一直處理計算中或者等待計算的狀態(tài)，除非你殺了它。Spark和Hadoop做不到。當然，它們各有各的應(yīng)用場景。各有各的優(yōu)勢?？梢砸黄鹩?。我來翻一翻別人的資料，說的很清楚。Storm、Spark、Hadoop各有千秋，每個框架都有自己的最佳應(yīng)用場景。

Storm是流式計算的最佳框架。Storm是用Java和Clojure寫的。Storm的優(yōu)勢是全內(nèi)存計算，所以它的定位是分布式實時計算系統(tǒng)。按照Storm作者的說法，Storm對于實時計算的意義類似于Hadoop對于批處理的意義。Storm的適用場景:1)流數(shù)據(jù)處理Storm可以用來處理連續(xù)流動的消息，處理后再將結(jié)果寫入一個存儲器。

Hadoop FAQ(1)Hadoop是否適合電子政務(wù)？為什么？電子政務(wù)是利用互聯(lián)網(wǎng)技術(shù)實現(xiàn)政府組織結(jié)構(gòu)和工作流程的重組和優(yōu)化，構(gòu)建精簡、高效、廉潔、公正的政府運行信息服務(wù)平臺。因此，電子政務(wù)必然會產(chǎn)生大量的數(shù)據(jù)和相應(yīng)的計算需求，而當這兩個需求所涉及的數(shù)據(jù)和計算達到一定規(guī)模時，傳統(tǒng)的系統(tǒng)架構(gòu)將無法滿足，因此需要使用海量數(shù)據(jù)處理平臺，比如Hadoop技術(shù)，那么我們就可以使用Hadoop技術(shù)來構(gòu)建電子政務(wù)云平臺。

Hadoop實現(xiàn)了一個分布式文件系統(tǒng)，它被設(shè)計為部署在低成本的硬件上。而且還提供了訪問應(yīng)用程序數(shù)據(jù)的高吞吐量，這適用于那些具有非常大的數(shù)據(jù)集的應(yīng)用程序。Hadoop因其在數(shù)據(jù)提取、變形和加載(ETL)方面的天然優(yōu)勢，可以廣泛應(yīng)用于大數(shù)據(jù)處理應(yīng)用。Hadoop的分布式架構(gòu)使得大數(shù)據(jù)處理引擎盡可能的靠近存儲，相對適合ETL等批量操作，因為這類操作的批量結(jié)果可以直接去存儲。

Twitter的Storm更好的支持實時數(shù)據(jù)，hadoop更適合批量處理。如果使用hbase，也可以。Hadoop一般用于冷數(shù)據(jù)處理。對于實時數(shù)據(jù)，如果你必須使用它，你可以用不同的方式使用它。方法一:在hadoop上使用hbase數(shù)據(jù)庫，以為hbase不帶Map/Reduce，所以操作在毫秒級別。方法二:業(yè)務(wù)數(shù)據(jù)按程序分為實時數(shù)據(jù)和冷數(shù)據(jù)，實時數(shù)據(jù)存儲在關(guān)系數(shù)據(jù)庫中，冷數(shù)據(jù)存儲在hadoop中。

由Apache基金會開發(fā)的分布式系統(tǒng)基礎(chǔ)結(jié)構(gòu)。用戶可以在不了解分布式底層細節(jié)的情況下開發(fā)分布式程序，充分利用集群的力量進行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)，其中之一就是HDFS。HDFS具有高容錯性的特點，設(shè)計用于部署在低成本的硬件上。此外，它還提供了訪問應(yīng)用數(shù)據(jù)的高吞吐量，適用于數(shù)據(jù)集較大的應(yīng)用。

1。大數(shù)據(jù)的主要課程有哪些？首先需要了解Java語言和Linux操作系統(tǒng)，這是學(xué)習(xí)大數(shù)據(jù)的基礎(chǔ)，學(xué)習(xí)順序不分先后，Java:只要懂一些基礎(chǔ)，做大數(shù)據(jù)不需要很深的Java技術(shù)。學(xué)習(xí)javaSE相當于學(xué)習(xí)大數(shù)據(jù)，基礎(chǔ)Linux:因為大數(shù)據(jù)相關(guān)的軟件運行在Linux上，所以要把Linux學(xué)扎實。學(xué)好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)有很大的幫助，能讓你更好的了解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡(luò)環(huán)境配置，，讓你少踩幾個坑，學(xué)會shell理解腳本，讓你更容易理解和配置大數(shù)據(jù)集群。