1。Hadoop的特點1。支持非常大的文件一般來說，存儲在HDFS的文件可以支持TB和PB數(shù)據(jù)。2.檢測并快速響應(yīng)硬件故障在群集環(huán)境中，硬件故障是常見問題。由于有成千上萬的服務(wù)器連接在一起，故障率很高，因此hdfs文件系統(tǒng)的故障檢測和自動恢復是一個設(shè)計目標。假設(shè)一個datanode節(jié)點掛起后，因為數(shù)據(jù)備份，可以從其他節(jié)點找到它。

主要是數(shù)據(jù)吞吐量，而不是訪問速度。訪問速度最終受到網(wǎng)絡(luò)和磁盤速度的限制。無論機器節(jié)點有多少，都無法突破物理限制。HDFS不適合低延遲數(shù)據(jù)訪問，而HDFS的目標是高吞吐量。4.簡化的一致性模型對于外部用戶來說，不需要了解hadoop的底層細節(jié)，比如文件剪切、文件存儲、節(jié)點管理等。

1，解決問題的水平不同首先，Hadoop和ApacheSpark都是大數(shù)據(jù)框架，但是各自的目的不同。Hadoop本質(zhì)上更多的是一種分布式數(shù)據(jù)基礎(chǔ)設(shè)施:它將龐大的數(shù)據(jù)集分布到由普通計算機組成的集群中的多個節(jié)點上進行存儲，這意味著你不需要購買和維護昂貴的服務(wù)器硬件。同時Hadoop會對這些數(shù)據(jù)進行索引和跟蹤，使得large 數(shù)據(jù)處理和large /的分析效率前所未有。

2.兩者可以結(jié)合，也可以分離。Hadoop不僅提供了HDFS的分布式數(shù)據(jù)存儲功能，還提供了數(shù)據(jù)處理名為MapReduce的功能。所以這里我們可以完全拋棄Spark，使用Hadoop自帶的MapReduce來完成數(shù)據(jù)處理。相反，Spark不必依附于Hadoop才能生存。但如上所述，它畢竟不提供文件管理系統(tǒng)，所以必須與其他分布式文件系統(tǒng)集成才能運行。

使用Mahout和Hadoop處理機器學習算法中的大規(guī)模數(shù)據(jù)問題有什么實際意義？讓我們考慮一下您可能需要部署Mahout來解決的幾個問題的大小。粗略估計，三年前Picasa有5億張照片。這意味著每天需要處理數(shù)百萬張新照片。一張照片本身的分析問題不大，哪怕重復幾百萬次。但在學習階段，可能需要同時從數(shù)十億張照片中獲取信息，這種規(guī)模的計算是單臺計算機無法實現(xiàn)的。

雖然它的絕對字數(shù)看起來很少，但想象一下，為了及時提供這些文章，它們和其他最近的文章必須在幾分鐘內(nèi)聚集在一起。網(wǎng)飛為NetflixPrize發(fā)布的評分數(shù)據(jù)子集包含1億個評級，因為這只是為比賽發(fā)布的數(shù)據(jù)，所以推測網(wǎng)飛需要處理形成推薦結(jié)果的數(shù)據(jù)總量要比這大很多倍。機器學習技術(shù)必須部署在這樣的應(yīng)用場景中，通常情況下，輸入數(shù)據(jù)量非常巨大，即使計算機非常強大，也無法在計算機上完全處理。