另外，Hadoop依賴于社區(qū)服務(wù)器，所以成本相對(duì)較低，任何人都可以使用。Hadoop是一個(gè)分布式計(jì)算平臺(tái)，用戶可以輕松構(gòu)建和使用。用戶可以在Hadoop上輕松開發(fā)和運(yùn)行處理大量數(shù)據(jù)的應(yīng)用。它具有以下優(yōu)點(diǎn):1 .可靠性高。Hadoop對(duì)數(shù)據(jù)的逐位存儲(chǔ)和處理能力是值得信賴的。2.高可擴(kuò)展性。Hadoop將數(shù)據(jù)分布在可用的計(jì)算機(jī)集群中，可以輕松擴(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)。

hark、HadoopYARN、ClouderaImpala、Spark、Storm、ApacheMesos、Phoenix、ApacheAccumulo、ApacheDrill、ApacheAmbari、ApacheHama、ApacheTez、ApacheGiraph .1.ApacheMesos代碼托管地址:ApacheSVNMesos提供跨分布式應(yīng)用和框架的高效資源隔離和共享，支持Hadoop、MPI、Hypertable、Spark等。

1，解題水平不同。首先，Hadoop和ApacheSpark都是大數(shù)據(jù)框架，只是各自的用途不同。Hadoop本質(zhì)上是一個(gè)分布式數(shù)據(jù)基礎(chǔ)設(shè)施:它將龐大的數(shù)據(jù) set分布到由普通計(jì)算機(jī)組成的集群中的多個(gè)節(jié)點(diǎn)上進(jìn)行存儲(chǔ)，這意味著你不需要購買和維護(hù)昂貴的服務(wù)器硬件。同時(shí)，Hadoop還會(huì)對(duì)這些數(shù)據(jù)進(jìn)行索引和跟蹤，讓大數(shù)據(jù)處理和分析的效率達(dá)到前所未有的高度。

2.兩者可以結(jié)合，也可以分離。Hadoop不僅提供了HDFS分布式數(shù)據(jù)的存儲(chǔ)功能，還提供了數(shù)據(jù)的處理功能，稱為MapReduce。所以這里我們可以完全拋棄Spark，使用Hadoop自帶的MapReduce來完成數(shù)據(jù)的處理。相反，Spark不必依附于Hadoop才能生存。但如上所述，它畢竟不提供文件管理系統(tǒng)，所以必須與其他分布式文件系統(tǒng)集成才能運(yùn)行。

一般來說，Hadoop是Apache軟件基金會(huì)開發(fā)的開源分布式計(jì)算技術(shù)。它是專門為大量大型復(fù)雜結(jié)構(gòu)而設(shè)計(jì)的數(shù)據(jù) -1/，其目的不是瞬間反應(yīng)、檢索和分析。它在效率和成本上都有優(yōu)勢，加上可以橫向擴(kuò)展，輕松應(yīng)對(duì)容量的增加，所以備受關(guān)注。Hadoop不需要使用商業(yè)服務(wù)器，一般可以在個(gè)人電腦上運(yùn)行。

隨著數(shù)據(jù)要處理的量越來越大，Hadoop的計(jì)算能力可以在不修改應(yīng)用程序代碼的情況下，通過增加計(jì)算機(jī)的數(shù)量立即得到提升?？傊琀adoop可以用更低的成本獲得更高的計(jì)算效率，提高數(shù)據(jù) 分析的容量。難怪有人稱Hadoop為數(shù)據(jù)的救世主。雖然這種說法有些夸張，但也有幾分真實(shí)，因?yàn)橥ㄟ^Hadoop，即使是個(gè)人或者資金不足的個(gè)人。

使用Mahout和Hadoop處理機(jī)器學(xué)習(xí)算法中的大規(guī)模數(shù)據(jù) scale問題有什么實(shí)際意義？讓我們考慮一下您可能需要部署Mahout來解決的幾個(gè)問題的大小。粗略估計(jì)，三年前Picasa有5億張照片。這意味著每天需要處理數(shù)百萬張新照片。一張照片的分析本身問題不大，就算重復(fù)幾百萬次也沒什么。但在學(xué)習(xí)階段，可能需要同時(shí)從數(shù)十億張照片中獲取信息，這種規(guī)模的計(jì)算是單臺(tái)計(jì)算機(jī)無法實(shí)現(xiàn)的。

雖然它的絕對(duì)字?jǐn)?shù)看起來很少，但想象一下，為了及時(shí)提供這些文章，它們和其他最近的文章必須在幾分鐘內(nèi)聚集在一起。網(wǎng)飛為NetflixPrize發(fā)布的score 數(shù)據(jù) subset包含1億個(gè)分?jǐn)?shù)。因?yàn)檫@只是數(shù)據(jù)為比賽發(fā)布的，所以推測網(wǎng)飛需要加工形成推薦成績的數(shù)據(jù)的總量要比這個(gè)大很多倍。機(jī)器學(xué)習(xí)技術(shù)必須部署在這樣的應(yīng)用場景中。通常情況下數(shù)據(jù)的輸入量非常巨大，即使計(jì)算機(jī)非常強(qiáng)大，也無法在計(jì)算機(jī)上完全處理。

Hadoop在可擴(kuò)展性、健壯性、計(jì)算性能、成本等方面具有不可替代的優(yōu)勢。實(shí)際上已經(jīng)成為互聯(lián)網(wǎng)企業(yè)的主流平臺(tái)。本文主要介紹一種基于Hadoop平臺(tái)的多維分析和數(shù)據(jù)挖掘平臺(tái)架構(gòu)。作為一家互聯(lián)網(wǎng)公司數(shù)據(jù) 分析，我們在海量的數(shù)據(jù) /領(lǐng)域真的是被“逼到了懸崖邊”。多年來，在數(shù)據(jù)苛刻的業(yè)務(wù)要求和壓力下，我們嘗試了幾乎所有可能的方法，最終登陸了Hadoop平臺(tái)。

根據(jù)-2分析的實(shí)時(shí)性可分為實(shí)時(shí)數(shù)據(jù) 分析和離線數(shù)據(jù) 分析。實(shí)時(shí)數(shù)據(jù) 分析一般用在金融、移動(dòng)、互聯(lián)網(wǎng)B2C等產(chǎn)品中，經(jīng)常要求在幾秒鐘內(nèi)回上億行數(shù)據(jù) 分析，以免影響用戶體驗(yàn)，為了滿足這種需求，我們可以使用設(shè)計(jì)良好的傳統(tǒng)關(guān)系型數(shù)據(jù) library來組成并行處理集群，或者使用一些內(nèi)存計(jì)算平臺(tái)，或者采用HDD架構(gòu)，這些無疑都需要很高的軟硬件成本。