關(guān)于Hadoop的六個誤解到目前為止，Hadoop和Da 數(shù)據(jù)其實是同義詞。然而，隨著“Da 數(shù)據(jù)”的炒作持續(xù)升溫，對于Hadoop如何應(yīng)用于Da 數(shù)據(jù)，出現(xiàn)了很多誤解。Hadoop是一個用于存儲和集成分析large數(shù)據(jù)的開源軟件框架，可以處理數(shù)據(jù)分布在多個現(xiàn)有服務(wù)器中。Hadoop適合處理來自手機、郵件、社交媒體、傳感器網(wǎng)絡(luò)等不同渠道的多樣而繁重的數(shù)據(jù)操作系統(tǒng)，因此一般認為它是一個大型的數(shù)據(jù)操作系統(tǒng)。

事實并非如此。你可以稱之為“框架”，也可以稱之為“平臺”，但不能認為Hadoop可以解決big 數(shù)據(jù)中的所有問題。“市場上沒有標準的Hadoop產(chǎn)品，”《太大而不能忽視:Big 數(shù)據(jù)》一書的作者Phil Simon說?！斑@不像別的什么。你可以從IBM或者SAP得到一個標準的數(shù)據(jù) library?！比欢髅刹⒉徽J為這是一個長期的問題。首先，因為Hadoop是一個開源項目，所以很多其他Hadoop相關(guān)的項目，比如Cassandra和HBase，都可以滿足特定的需求。

R語言和Hadoop讓我們認識到了兩種技術(shù)在各自領(lǐng)域的強大。很多開發(fā)者會從計算機的角度提出以下兩個問題。問題1:Hadoop家族這么強大，為什么還要結(jié)合R語言？\x0d\x0a問題2:Mahout也可以做數(shù)據(jù)挖掘和機器學習。和R語言有什么區(qū)別？下面我試著做個回答:問題1:Hadoop家族這么強大，為什么要和R語言結(jié)合？

PB 數(shù)據(jù)數(shù)量計算)，成為可能。語言的實力\x0d\x0ab。r在于統(tǒng)計分析。在Hadoop之前，我們在處理large 數(shù)據(jù)的時候要采樣，要檢驗假設(shè)，要做回歸。長期以來，R語言一直是統(tǒng)計人員的專屬工具。\x0d\x0ac。從A點和B點可以看出hadoop側(cè)重于整個數(shù)量-2分析，而R語言側(cè)重于樣本數(shù)據(jù)。

1，解題水平不同。首先，Hadoop和ApacheSpark都是大數(shù)據(jù)框架，只是各自的用途不同。Hadoop本質(zhì)上是一個分布式數(shù)據(jù)基礎(chǔ)設(shè)施:它將龐大的數(shù)據(jù) set分布到由普通計算機組成的集群中的多個節(jié)點上進行存儲，這意味著你不需要購買和維護昂貴的服務(wù)器硬件。同時，Hadoop還會對這些數(shù)據(jù)進行索引和跟蹤，讓大數(shù)據(jù)處理和分析的效率達到前所未有的高度。

2.兩者可以結(jié)合，也可以分離。Hadoop不僅提供了HDFS分布式數(shù)據(jù)的存儲功能，還提供了數(shù)據(jù)的處理功能，稱為MapReduce。所以這里我們可以完全拋棄Spark，使用Hadoop自帶的MapReduce來完成數(shù)據(jù)的處理。相反，Spark不必依附于Hadoop才能生存。但如上所述，它畢竟不提供文件管理系統(tǒng)，所以必須與其他分布式文件系統(tǒng)集成才能運行。

很難直接比較Hadoop和Spark，因為它們以相同的方式處理許多任務(wù)，但它們在某些方面并不重疊。例如，Spark沒有文件管理功能，因此它必須依賴Hadoop分布式文件系統(tǒng)(HDFS)或其他解決方案。Hadoop框架的主要模塊包括以下幾個:HadoopCommonHadoop分布式文件系統(tǒng)(HDFS)HadoopYARNHadoopMapReduce雖然以上四個模塊構(gòu)成了Hadoop的核心，但是還有其他幾個模塊。

Spark真的很快(比HadoopMapReduce快100倍)。Spark也可以執(zhí)行批處理，但它確實擅長處理流式工作負載、交互式查詢和機器學習。相對于MapReduce基于磁盤的批處理引擎，Spark以數(shù)據(jù)實時處理功能著稱。Spark與Hadoop及其模塊兼容。

在8、大 數(shù)據(jù)與Hadoop之間的關(guān)系

Hadoop中添加多個數(shù)據(jù)集合的方法有很多。MapReduce在Map和Reduce之間提供了數(shù)據(jù)連接。這些連接是非常特殊的連接，并且可能是非常昂貴的操作。豬和蜂巢也有同樣的能力申請連接多個數(shù)據(jù)套。Pig提供復制連接、合并連接和skewedjoin連接，Hive提供映射連接和完整外部連接到分析-2/。

在9、 hadoop如何實現(xiàn)大 數(shù)據(jù)

Hadoop中添加多個數(shù)據(jù)集合的方法有很多。MapReduce在Map和Reduce之間提供了數(shù)據(jù)連接。這些連接是非常特殊的連接，并且可能是非常昂貴的操作。豬和蜂巢也有同樣的能力申請連接多個數(shù)據(jù)套。Pig提供復制連接、合并連接和skewedjoin連接，Hive提供映射連接和完整外部連接到分析-2/。

至于Hadoop分析Dazu數(shù)據(jù)，Anoop指出，一般來說，在big 數(shù)據(jù) Hadoop的世界里，有些問題可能并不復雜，解決方案也很直接，但挑戰(zhàn)是-2。在這種情況下，需要不同的解決方案來解決問題，分析的一些任務(wù)是從日志文件中統(tǒng)計確定的id的數(shù)量，在特定日期范圍內(nèi)重構(gòu)存儲的數(shù)據(jù)以及對網(wǎng)民進行排名。所有這些任務(wù)都可以通過Hadoop中的各種工具和技術(shù)來解決，比如MapReduce、Hive、Pig、Giraph和Mahout。