1。Hadoop的特點(diǎn)1。支持非常大的文件一般來(lái)說(shuō)，存儲(chǔ)在HDFS的文件可以支持TB和PB數(shù)據(jù)。2.檢測(cè)并快速響應(yīng)硬件故障在群集環(huán)境中，硬件故障是常見(jiàn)問(wèn)題。由于有成千上萬(wàn)的服務(wù)器連接在一起，故障率很高，因此hdfs文件系統(tǒng)的故障檢測(cè)和自動(dòng)恢復(fù)是一個(gè)設(shè)計(jì)目標(biāo)。假設(shè)一個(gè)datanode節(jié)點(diǎn)掛起后，因?yàn)閿?shù)據(jù)備份，可以從其他節(jié)點(diǎn)找到它。

主要是數(shù)據(jù)吞吐量，而不是訪問(wèn)速度。訪問(wèn)速度最終受到網(wǎng)絡(luò)和磁盤(pán)速度的限制。無(wú)論機(jī)器節(jié)點(diǎn)有多少，都無(wú)法突破物理限制。HDFS不適合低延遲數(shù)據(jù)訪問(wèn)，而HDFS的目標(biāo)是高吞吐量。4.簡(jiǎn)化的一致性模型對(duì)于外部用戶(hù)來(lái)說(shuō)，不需要了解hadoop的底層細(xì)節(jié)，比如文件剪切、文件存儲(chǔ)、節(jié)點(diǎn)管理等。

1，解決問(wèn)題的水平不同首先，Hadoop和ApacheSpark都是大數(shù)據(jù)框架，但是各自的目的不同。Hadoop本質(zhì)上更多的是一種分布式數(shù)據(jù)基礎(chǔ)設(shè)施:它將龐大的數(shù)據(jù)集分布到由普通計(jì)算機(jī)組成的集群中的多個(gè)節(jié)點(diǎn)上進(jìn)行存儲(chǔ)，這意味著你不需要購(gòu)買(mǎi)和維護(hù)昂貴的服務(wù)器硬件。同時(shí)Hadoop會(huì)對(duì)這些數(shù)據(jù)進(jìn)行索引和跟蹤，使得large 數(shù)據(jù)處理和large /的分析效率前所未有。

2.兩者可以結(jié)合，也可以分離。Hadoop不僅提供了HDFS的分布式數(shù)據(jù)存儲(chǔ)功能，還提供了數(shù)據(jù)處理名為MapReduce的功能。所以這里我們可以完全拋棄Spark，使用Hadoop自帶的MapReduce來(lái)完成數(shù)據(jù)處理。相反，Spark不必依附于Hadoop才能生存。但如上所述，它畢竟不提供文件管理系統(tǒng)，所以必須與其他分布式文件系統(tǒng)集成才能運(yùn)行。

使用Mahout和Hadoop處理機(jī)器學(xué)習(xí)算法中的大規(guī)模數(shù)據(jù)問(wèn)題有什么實(shí)際意義？讓我們考慮一下您可能需要部署Mahout來(lái)解決的幾個(gè)問(wèn)題的大小。粗略估計(jì)，三年前Picasa有5億張照片。這意味著每天需要處理數(shù)百萬(wàn)張新照片。一張照片本身的分析問(wèn)題不大，哪怕重復(fù)幾百萬(wàn)次。但在學(xué)習(xí)階段，可能需要同時(shí)從數(shù)十億張照片中獲取信息，這種規(guī)模的計(jì)算是單臺(tái)計(jì)算機(jī)無(wú)法實(shí)現(xiàn)的。

雖然它的絕對(duì)字?jǐn)?shù)看起來(lái)很少，但想象一下，為了及時(shí)提供這些文章，它們和其他最近的文章必須在幾分鐘內(nèi)聚集在一起。網(wǎng)飛為NetflixPrize發(fā)布的評(píng)分?jǐn)?shù)據(jù)子集包含1億個(gè)評(píng)級(jí)，因?yàn)檫@只是為比賽發(fā)布的數(shù)據(jù)，所以推測(cè)網(wǎng)飛需要處理形成推薦結(jié)果的數(shù)據(jù)總量要比這大很多倍。機(jī)器學(xué)習(xí)技術(shù)必須部署在這樣的應(yīng)用場(chǎng)景中，通常情況下，輸入數(shù)據(jù)量非常巨大，即使計(jì)算機(jī)非常強(qiáng)大，也無(wú)法在計(jì)算機(jī)上完全處理。