比如Hadoop技術(shù)，能力弱到-2實(shí)時(shí)處理。如何使用Mahout和Hadoop處理大規(guī)模數(shù)據(jù)大規(guī)模數(shù)據(jù)規(guī)模問題？在機(jī)器學(xué)習(xí)算法中有什么實(shí)際意義？Hadoop是如何處理的？Hadoop軟件處理框架1，Hadoop是一個(gè)可以分發(fā)大量數(shù)據(jù)的軟件框架。
Storm比Spark和Hadoop有優(yōu)勢。Storm的優(yōu)勢在于它是一個(gè)實(shí)時(shí)、連續(xù)、分布式的計(jì)算框架。一旦運(yùn)行，除非你殺了它，它總是處理正在計(jì)算或者等待計(jì)算的狀態(tài)?；鸹ê蚳adoop做不到。當(dāng)然，它們各有各的應(yīng)用場景。各有各的優(yōu)勢?？梢砸黄鹩?。我來翻一翻別人的資料，說的很清楚。Storm、Spark、Hadoop各有千秋，每個(gè)框架都有自己的最佳應(yīng)用場景。
Storm是流式計(jì)算的最佳框架。Storm是用Java和Clojure寫的。Storm的優(yōu)勢是全內(nèi)存計(jì)算，所以它的定位是分布式實(shí)時(shí)計(jì)算系統(tǒng)。按照Storm作者的說法，Storm對于實(shí)時(shí)計(jì)算的意義類似于Hadoop對于批處理的意義。Storm的適用場景:1)Streaming數(shù)據(jù)Processing Storm可以用來處理連續(xù)流動(dòng)的消息，處理后再將結(jié)果寫入一個(gè)存儲器。
這個(gè)SparkStreaming示例是Hadoop近實(shí)時(shí)會話持久性的一個(gè)很好的例子。SparkStreaming是ApacheSpark中最有趣的組件之一。使用SparkStreaming，您可以創(chuàng)建數(shù)據(jù) pipes，使用與批處理加載數(shù)據(jù)相同的API來處理流。此外，SparkSteaming的“微批處理”方法提供了相當(dāng)好的靈活性來處理某些原因?qū)е碌娜蝿?wù)失敗。
(會話化是指在單個(gè)訪問者網(wǎng)站會話的時(shí)間范圍內(nèi)捕獲的所有點(diǎn)擊流活動(dòng)。您可以在這里找到這個(gè)演示的代碼。像這樣的系統(tǒng)對于理解訪問者的行為超級有用，不管他們是人還是機(jī)器。通過一些額外的工作，它還可以設(shè)計(jì)為窗口模式，以異步方式檢測可能的欺詐。
3、 hadoop集群安裝完成,怎么使用現(xiàn)在安裝完成了，你要做的就是兩件事:數(shù)據(jù)在哪里？如何計(jì)算和處理數(shù)據(jù)？對于前者，可以使用hbase或者h(yuǎn)ive作為數(shù)據(jù)的存儲。當(dāng)然，你也可以使用hadoop你自己的分布式存儲系統(tǒng)hdfs，但是hbase和hive可以為你提供數(shù)據(jù) library類的結(jié)構(gòu)化存儲，操作起來更加方便。對于后者，可以使用hadoop自己的計(jì)算框架MapReduce，存儲在哪里數(shù)據(jù)都無所謂?？梢杂肕R離線計(jì)算數(shù)據(jù)。
