Hadoop是Apache Foundation 架構(gòu)開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)，是用Java語(yǔ)言開(kāi)發(fā)的開(kāi)源分布式計(jì)算平臺(tái)，適用于大型數(shù)據(jù)分布式存儲(chǔ)和計(jì)算平臺(tái)。Hadoop是一個(gè)廣泛使用的大數(shù)據(jù)平臺(tái)，它本身就是大數(shù)據(jù)平臺(tái)的研究人員的工作。Hadoop是目前比較常見(jiàn)的大型數(shù)據(jù)支撐平臺(tái)。在Hadoop中添加多個(gè)數(shù)據(jù)集合的方法有很多。MapReduce在Map和Reduce之間提供了數(shù)據(jù)連接。

豬和蜂巢也有同樣的能力申請(qǐng)連接多個(gè)數(shù)據(jù)套。Pig提供復(fù)制連接、合并連接和skewedjoin連接，Hive提供map連接和完整外部連接給analyze 數(shù)據(jù)。一個(gè)重要的事實(shí)是，通過(guò)使用各種工具，如MapReduce、Pig和Hive，數(shù)據(jù)可以根據(jù)其內(nèi)置的功能和實(shí)際需要來(lái)使用它們。至于分析Hadoop中大量的數(shù)據(jù)，Anoop指出，通常情況下，在big 數(shù)據(jù) Hadoop世界中，有些問(wèn)題可能并不復(fù)雜，解決方案也很直接，但挑戰(zhàn)是數(shù)據(jù)quantity。

Hadoop、Spark和Storm是目前最重要的三個(gè)分布式計(jì)算系統(tǒng)。Hadoop常用于離線復(fù)雜大數(shù)據(jù)處理，Spark常用于離線快速大數(shù)據(jù)處理，Storm常用于在線實(shí)時(shí)大數(shù)據(jù)處理。簡(jiǎn)單來(lái)說(shuō)，Hadoop或Hadoop生態(tài)系統(tǒng)是為了解決大型數(shù)據(jù)應(yīng)用場(chǎng)景而出現(xiàn)的，應(yīng)用場(chǎng)景包括文件系統(tǒng)、計(jì)算框架、調(diào)度系統(tǒng)等。Spark是Hadoop生態(tài)系統(tǒng)中的分布式計(jì)算引擎。

MapReduce在Map和Reduce之間提供了數(shù)據(jù)連接。這些連接是非常特殊的連接，并且可能是非常昂貴的操作。豬和蜂巢也有同樣的能力申請(qǐng)連接多個(gè)數(shù)據(jù)套。Pig提供復(fù)制連接、合并連接和skewedjoin連接，Hive提供map連接和完整外部連接給analyze 數(shù)據(jù)。一個(gè)重要的事實(shí)是，通過(guò)使用各種工具，如MapReduce、Pig和Hive，數(shù)據(jù)可以根據(jù)其內(nèi)置的功能和實(shí)際需要來(lái)使用它們。

Hadoop和Spark都是集群并行計(jì)算框架，可以做分布式計(jì)算，都是基于MapReduce并行模型。Hadoop基于磁盤計(jì)算，只有兩個(gè)操作符，map和reduce。在計(jì)算過(guò)程中，會(huì)有大量的中間結(jié)果文件登陸到磁盤上，會(huì)顯著降低運(yùn)行效率。Spark基于內(nèi)存計(jì)算(一個(gè)任務(wù)會(huì)以流水線的形式在一個(gè)片上執(zhí)行，中間不分配內(nèi)存，避免很快耗盡內(nèi)存)，非常適合機(jī)器學(xué)習(xí)中的迭代計(jì)算(通過(guò)在內(nèi)存中緩存RDD)；

Da數(shù)據(jù)Analyze相關(guān)基礎(chǔ)解決方案主要包括Hadoop的介紹、Big 數(shù)據(jù)的分析總結(jié)、基于MapReduce的Big 數(shù)據(jù)的處理、PythonHadoop科學(xué)計(jì)算和Big 數(shù)據(jù)分析、RHadoop統(tǒng)計(jì)數(shù)據(jù)計(jì)算、Apache park批量分析、Apache park

接下來(lái)，我們將討論什么是Hadoop，以及Hadoop如何解決與Big 數(shù)據(jù)相關(guān)的問(wèn)題。我們還將研究CERN案例研究，以突出使用Hadoop的優(yōu)勢(shì)，在之前的博客“Da 數(shù)據(jù)教程”中，我們已經(jīng)詳細(xì)討論了Da 數(shù)據(jù)和Da 數(shù)據(jù)的挑戰(zhàn)。在這個(gè)博客中，我們將討論:1，傳統(tǒng)方法的問(wèn)題。Hadoop 3的演進(jìn)，Hadoop 4。面向Hadoop 5的即用型解決方案，什么時(shí)候用Hadoop。