storm和spark的區(qū)別，Spark在任務(wù)調(diào)度和數(shù)據(jù)可靠性上確實(shí)比MapReduce快很多，而且支持在內(nèi)存中緩存數(shù)據(jù)，下一次查詢直接基于內(nèi)存 access。大數(shù)據(jù)分析應(yīng)用實(shí)例ApacheSpark？首先，流數(shù)據(jù)ApacheSpark的關(guān)鍵用例是它處理流數(shù)據(jù)的能力。

是的，你可以充分發(fā)揮你的專業(yè)知識(shí)。畢竟自己學(xué)過，掌握起來自然很多。讀研期間，經(jīng)常和導(dǎo)師一起做項(xiàng)目。有些導(dǎo)師有很多橫向項(xiàng)目，是參與實(shí)踐的好方法。其實(shí)有些人讀研期間忙的跟上班一樣，不要讓學(xué)校的時(shí)間浪費(fèi)了。另外，你也不小了，可以在讀書期間思考一下未來的就業(yè)，邊讀書邊成家的政策也是支持的。當(dāng)然，你必須有一個(gè)合適的結(jié)婚對(duì)象。

(1)操作系統(tǒng)的選擇一般采用開源版本的RedHat、Centos或Debian作為底層構(gòu)建平臺(tái)，要根據(jù)大數(shù)據(jù)平臺(tái)上要構(gòu)建的數(shù)據(jù)分析工具所支持的系統(tǒng)來選擇正確的操作系統(tǒng)版本。(2)構(gòu)建Hadoop集群Hadoop是一個(gè)開發(fā)和運(yùn)行大規(guī)模數(shù)據(jù)的軟件平臺(tái)，在大量廉價(jià)計(jì)算機(jī)組成的集群中實(shí)現(xiàn)海量數(shù)據(jù)的分布式計(jì)算。

在生產(chǎn)實(shí)踐中，Hadoop非常適合大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析應(yīng)用，適合服務(wù)于數(shù)千到數(shù)萬臺(tái)大型服務(wù)器的集群運(yùn)行，支持PB級(jí)存儲(chǔ)容量。Hadoop家族還包含各種開源組件，比如Yarn、Zookeeper、Hbase、Hive、Sqoop、Impala、Spark等等。

大數(shù)據(jù)分析的八大趨勢大數(shù)據(jù)和分析的學(xué)科發(fā)展非常迅速，企業(yè)必須盡力跟上，否則就有被甩的危險(xiǎn)。他還說:“過去，新興技術(shù)往往需要十年左右的時(shí)間才能成熟，但現(xiàn)在已經(jīng)大不一樣了。人們可以在幾個(gè)月甚至幾周內(nèi)拿出解決方案?！蹦敲?，我們應(yīng)該關(guān)注哪些新興技術(shù)，或者說研究人員在關(guān)注什么呢？《計(jì)算機(jī)世界》采訪了一些IT精英、顧問和行業(yè)分析師。讓我們來看看他們列出的主要趨勢。

本來是用于機(jī)器群的，現(xiàn)在情況變了。ForresterResearch的分析師BrianHopkins表示，越來越多的技術(shù)可以應(yīng)用到云數(shù)據(jù)處理中。比如亞馬遜的BI 數(shù)據(jù)庫，谷歌的BigQuery數(shù)據(jù)分析服務(wù)，IBM的sBluemix云平臺(tái)，亞馬遜的Kinesis數(shù)據(jù)處理服務(wù)。該分析師還表示，未來的大數(shù)據(jù)將是內(nèi)部數(shù)據(jù)部署和云數(shù)據(jù)的結(jié)合。

Storm相比Spark和hadoop有優(yōu)勢。Storm的優(yōu)勢在于它是一個(gè)實(shí)時(shí)連續(xù)的分布式計(jì)算框架。它一旦運(yùn)行，就會(huì)一直處理計(jì)算中或者等待計(jì)算的狀態(tài)，除非你殺了它。Spark和Hadoop做不到。當(dāng)然，它們各有各的應(yīng)用場景。各有各的優(yōu)勢。可以一起用。我來翻一翻別人的資料，說的很清楚。Storm、Spark、Hadoop各有千秋，每個(gè)框架都有自己的最佳應(yīng)用場景。

Storm是最好的流式計(jì)算框架。Storm是用Java和Clojure寫的。Storm的優(yōu)勢是全內(nèi)存計(jì)算，所以它的定位是分布式實(shí)時(shí)計(jì)算系統(tǒng)。按照Storm作者的說法，Storm對(duì)于實(shí)時(shí)計(jì)算的意義類似于Hadoop對(duì)于批處理的意義。Storm的適用場景:1)流數(shù)據(jù)處理Storm可以用來處理連續(xù)流動(dòng)的消息，處理后再將結(jié)果寫入一個(gè)存儲(chǔ)器。