關(guān)于Hadoop的六個(gè)誤解到目前為止，Hadoop和Da 數(shù)據(jù)其實(shí)是同義詞。然而，隨著“Da 數(shù)據(jù)”的炒作持續(xù)升溫，對(duì)于Hadoop如何應(yīng)用于Da 數(shù)據(jù)，出現(xiàn)了很多誤解。Hadoop是一個(gè)用于存儲(chǔ)和集成分析large數(shù)據(jù)的開源軟件框架，可以處理數(shù)據(jù)分布在多個(gè)現(xiàn)有服務(wù)器中。Hadoop適合處理來自手機(jī)、郵件、社交媒體、傳感器網(wǎng)絡(luò)等不同渠道的多樣而繁重的數(shù)據(jù)操作系統(tǒng)，因此一般認(rèn)為它是一個(gè)大型的數(shù)據(jù)操作系統(tǒng)。

事實(shí)并非如此。你可以稱之為“框架”，也可以稱之為“平臺(tái)”，但不能認(rèn)為Hadoop可以解決big 數(shù)據(jù)中的所有問題?！笆袌?chǎng)上沒有標(biāo)準(zhǔn)的Hadoop產(chǎn)品，”《太大而不能忽視:Big 數(shù)據(jù)》一書的作者Phil Simon說?！斑@不像別的什么。你可以從IBM或者SAP得到一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù) library?！比欢?，西蒙并不認(rèn)為這是一個(gè)長期的問題。首先，因?yàn)镠adoop是一個(gè)開源項(xiàng)目，所以很多其他Hadoop相關(guān)的項(xiàng)目，比如Cassandra和HBase，都可以滿足特定的需求。

R語言和Hadoop讓我們認(rèn)識(shí)到了兩種技術(shù)在各自領(lǐng)域的強(qiáng)大。很多開發(fā)者會(huì)從計(jì)算機(jī)的角度提出以下兩個(gè)問題。問題1:Hadoop家族這么強(qiáng)大，為什么還要結(jié)合R語言？\x0d\x0a問題2:Mahout也可以做數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)。和R語言有什么區(qū)別？下面我試著做個(gè)回答:問題1:Hadoop家族這么強(qiáng)大，為什么要和R語言結(jié)合？

PB 數(shù)據(jù)數(shù)量計(jì)算)，成為可能。語言的實(shí)力\x0d\x0ab。r在于統(tǒng)計(jì)分析。在Hadoop之前，我們?cè)谔幚韑arge 數(shù)據(jù)的時(shí)候要采樣，要檢驗(yàn)假設(shè)，要做回歸。長期以來，R語言一直是統(tǒng)計(jì)人員的專屬工具。\x0d\x0ac。從A點(diǎn)和B點(diǎn)可以看出hadoop側(cè)重于整個(gè)數(shù)量-2分析，而R語言側(cè)重于樣本數(shù)據(jù)。

1，解題水平不同。首先，Hadoop和ApacheSpark都是大數(shù)據(jù)框架，只是各自的用途不同。Hadoop本質(zhì)上是一個(gè)分布式數(shù)據(jù)基礎(chǔ)設(shè)施:它將龐大的數(shù)據(jù) set分布到由普通計(jì)算機(jī)組成的集群中的多個(gè)節(jié)點(diǎn)上進(jìn)行存儲(chǔ)，這意味著你不需要購買和維護(hù)昂貴的服務(wù)器硬件。同時(shí)，Hadoop還會(huì)對(duì)這些數(shù)據(jù)進(jìn)行索引和跟蹤，讓大數(shù)據(jù)處理和分析的效率達(dá)到前所未有的高度。

2.兩者可以結(jié)合，也可以分離。Hadoop不僅提供了HDFS分布式數(shù)據(jù)的存儲(chǔ)功能，還提供了數(shù)據(jù)的處理功能，稱為MapReduce。所以這里我們可以完全拋棄Spark，使用Hadoop自帶的MapReduce來完成數(shù)據(jù)的處理。相反，Spark不必依附于Hadoop才能生存。但如上所述，它畢竟不提供文件管理系統(tǒng)，所以必須與其他分布式文件系統(tǒng)集成才能運(yùn)行。

很難直接比較Hadoop和Spark，因?yàn)樗鼈円韵嗤姆绞教幚碓S多任務(wù)，但它們?cè)谀承┓矫娌⒉恢丿B。例如，Spark沒有文件管理功能，因此它必須依賴Hadoop分布式文件系統(tǒng)(HDFS)或其他解決方案。Hadoop框架的主要模塊包括以下幾個(gè):HadoopCommonHadoop分布式文件系統(tǒng)(HDFS)HadoopYARNHadoopMapReduce雖然以上四個(gè)模塊構(gòu)成了Hadoop的核心，但是還有其他幾個(gè)模塊。

Spark真的很快(比HadoopMapReduce快100倍)。Spark也可以執(zhí)行批處理，但它確實(shí)擅長處理流式工作負(fù)載、交互式查詢和機(jī)器學(xué)習(xí)。相對(duì)于MapReduce基于磁盤的批處理引擎，Spark以數(shù)據(jù)實(shí)時(shí)處理功能著稱。Spark與Hadoop及其模塊兼容。

在8、大 數(shù)據(jù)與Hadoop之間的關(guān)系

Hadoop中添加多個(gè)數(shù)據(jù)集合的方法有很多。MapReduce在Map和Reduce之間提供了數(shù)據(jù)連接。這些連接是非常特殊的連接，并且可能是非常昂貴的操作。豬和蜂巢也有同樣的能力申請(qǐng)連接多個(gè)數(shù)據(jù)套。Pig提供復(fù)制連接、合并連接和skewedjoin連接，Hive提供映射連接和完整外部連接到分析-2/。

在9、 hadoop如何實(shí)現(xiàn)大 數(shù)據(jù)

Hadoop中添加多個(gè)數(shù)據(jù)集合的方法有很多。MapReduce在Map和Reduce之間提供了數(shù)據(jù)連接。這些連接是非常特殊的連接，并且可能是非常昂貴的操作。豬和蜂巢也有同樣的能力申請(qǐng)連接多個(gè)數(shù)據(jù)套。Pig提供復(fù)制連接、合并連接和skewedjoin連接，Hive提供映射連接和完整外部連接到分析-2/。

至于Hadoop分析Dazu數(shù)據(jù)，Anoop指出，一般來說，在big 數(shù)據(jù) Hadoop的世界里，有些問題可能并不復(fù)雜，解決方案也很直接，但挑戰(zhàn)是-2。在這種情況下，需要不同的解決方案來解決問題，分析的一些任務(wù)是從日志文件中統(tǒng)計(jì)確定的id的數(shù)量，在特定日期范圍內(nèi)重構(gòu)存儲(chǔ)的數(shù)據(jù)以及對(duì)網(wǎng)民進(jìn)行排名。所有這些任務(wù)都可以通過Hadoop中的各種工具和技術(shù)來解決，比如MapReduce、Hive、Pig、Giraph和Mahout。