Hadoop和數(shù)據(jù)warehouse-0有什么關(guān)系/是開源大數(shù)據(jù)分析軟件，還是編程模式。Da 數(shù)據(jù)的Hadoop是什么？hadoop如何實(shí)現(xiàn)大數(shù)據(jù)Hadoop添加多個(gè)數(shù)據(jù)集合的方法有很多，請(qǐng)描述一下Big 數(shù)據(jù)三平臺(tái)hadoop、數(shù)據(jù)庫和hadoop與分布式文件系統(tǒng)數(shù)據(jù)庫和的區(qū)別和聯(lián)系。

2、如何用形象的比喻描述大 數(shù)據(jù)的技術(shù)生態(tài)?Hadoop、Hive、Spark之間是什么...

big數(shù)據(jù)本身是一個(gè)非常寬泛的概念，而Hadoop生態(tài)系統(tǒng)(或者說一般的生態(tài)系統(tǒng))基本上是單尺度數(shù)據(jù)處理?？梢院蛷N房比，所以我需要各種工具。鍋碗瓢盆各有用途，也有重疊?？梢灾苯釉谕肜镉脺?。你可以用刀或者用飛機(jī)剝。每個(gè)工具都有自己的特點(diǎn)。奇數(shù)雖然可以，但不一定是最好的。Large 數(shù)據(jù)，首先你需要能夠保存large 數(shù)據(jù)。傳統(tǒng)的文件系統(tǒng)是單一的，不能跨不同的機(jī)器。

比如你說我要獲取數(shù)據(jù)/HDFS/TMP/file1，你可以引用一個(gè)文件路徑，但是實(shí)際的數(shù)據(jù)是存儲(chǔ)在很多不同的機(jī)器里的。作為用戶，你不需要知道這些，就像你不關(guān)心分散在一個(gè)扇區(qū)上的單個(gè)文件一樣。HDFS為您管理這些數(shù)據(jù)利用現(xiàn)有的數(shù)據(jù)，你會(huì)開始思考如何處理數(shù)據(jù)。雖然HDFS可以為你提供數(shù)據(jù)在不同機(jī)器上的全面管理，但是數(shù)據(jù)太大了。

Spark已經(jīng)取代Hadoop成為最活躍的開源項(xiàng)目數(shù)據(jù)。但是，在選擇大型數(shù)據(jù)框架時(shí)，企業(yè)不應(yīng)厚此薄彼。著名專家BernardMarr在一篇文章中分析了Spark和Hadoop的異同。Hadoop和Spark都是big 數(shù)據(jù)框架，都提供了一些工具來執(zhí)行常見的big 數(shù)據(jù)任務(wù)，但恰恰，它們執(zhí)行的是不同的任務(wù)。雖然據(jù)說Spark在某些情況下比Hadoop快100倍，但它沒有分布式存儲(chǔ)系統(tǒng)，而分布式存儲(chǔ)系統(tǒng)是許多大型數(shù)據(jù)項(xiàng)目的基礎(chǔ)。它可以在幾乎無限的普通計(jì)算機(jī)的硬盤上存儲(chǔ)PB級(jí)數(shù)據(jù) sets并提供良好的可擴(kuò)展性。你只需要隨著數(shù)據(jù)套的增加而增加硬盤即可。所以Spark需要一個(gè)第三方分布式存儲(chǔ)。正是因?yàn)檫@個(gè)原因，很多大型數(shù)據(jù)項(xiàng)目都在Hadoop上安裝Spark，這樣，Spark的高級(jí)分析應(yīng)用就可以使用數(shù)據(jù)存儲(chǔ)在HDFS。與Hadoop相比，Spark真正的優(yōu)勢在于速度。Spark的大部分操作都在內(nèi)存中，Hadoop的MapReduce系統(tǒng)會(huì)下載。

hadoop是一個(gè)基于Mapreduce框架的分布式平臺(tái)，一般安裝在Linex上，在windows下使用虛擬機(jī)也可以。分布式程序可以在多臺(tái)機(jī)器上生成多個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)運(yùn)行程序的一部分然后合并，比單個(gè)節(jié)點(diǎn)效率高很多。推薦這本書“hadoop在行動(dòng)”(hadoop實(shí)戰(zhàn))，有很多論文可以看數(shù)據(jù)挖掘大會(huì)論文。現(xiàn)在有很多人在研究它。

首先，我們來看看Hadoop解決了哪些問題。Hadoop解決了large 數(shù)據(jù)(大到一臺(tái)計(jì)算機(jī)無法在要求的時(shí)間內(nèi)存儲(chǔ)和處理)的可靠存儲(chǔ)和處理。HDFS在由普通PC組成的集群上提供高度可靠的文件存儲(chǔ)，通過保存塊的多個(gè)副本來解決服務(wù)器或硬盤故障的問題。MapReduce通過對(duì)Mapper和Reducer的簡單抽象，提供了一個(gè)編程模型，可以在一個(gè)由幾十臺(tái)PC組成的不可靠集群中，以分布式的方式處理大量的數(shù)據(jù) sets，同時(shí)隱藏并發(fā)、分布(如機(jī)間通信)、故障恢復(fù)等計(jì)算細(xì)節(jié)。