hadoop分布式計(jì)算，這是支持Hadoop的基礎(chǔ)分布式計(jì)算，可以使Hadoop系統(tǒng)高效處理大規(guī)模。hadoop它是做什么的hadoop是分布式系統(tǒng)基礎(chǔ)設(shè)施，除了Hadoop，還有哪些平臺(tái)分布式 計(jì)算？數(shù)據(jù)中國(guó)hadoop核心技術(shù)是什么？Hadoop項(xiàng)目是以可靠性、可擴(kuò)展性和分布式 計(jì)算為目的開(kāi)發(fā)的開(kāi)源軟件。

Hadoop的三個(gè)核心組件是HDFS、MapReduce和YARN。HDFS是Hadoop生態(tài)系統(tǒng)中的分布式文件系統(tǒng)，用來(lái)存儲(chǔ)大規(guī)模的數(shù)據(jù)集。HDFS將數(shù)據(jù)分布在多個(gè)節(jié)點(diǎn)上，支持?jǐn)?shù)據(jù)的冗余備份，保證數(shù)據(jù)的可靠性和高可用性。是支持Hadoop分布式計(jì)算，使Hadoop系統(tǒng)高效處理大規(guī)模數(shù)據(jù)的基礎(chǔ)。MapReduce是Hadoop生態(tài)系統(tǒng)中的分布式 計(jì)算框架，用于處理大規(guī)模的數(shù)據(jù)集合。

MapReduce框架可以自動(dòng)管理任務(wù)的調(diào)度、容錯(cuò)、負(fù)載均衡等問(wèn)題，使Hadoop能夠高效運(yùn)行大型數(shù)據(jù)處理任務(wù)。YARN是Hadoop2.0推出的新一代資源管理器，用于管理Hadoop集群中的計(jì)算資源。YARN支持多種應(yīng)用框架，包括MapReduce和Spark，使得Hadoop生態(tài)系統(tǒng)更加靈活多樣。

Spark已經(jīng)取代Hadoop成為最活躍的開(kāi)源項(xiàng)目數(shù)據(jù)。但是，企業(yè)在選擇大型數(shù)據(jù)框架時(shí)，不能厚此薄彼。著名專(zhuān)家BernardMarr在一篇文章中分析了Spark和Hadoop的異同。Hadoop和Spark都是big 數(shù)據(jù)框架，都提供了一些工具來(lái)執(zhí)行常見(jiàn)的big 數(shù)據(jù)任務(wù)，但恰恰，它們執(zhí)行的是不同的任務(wù)。雖然據(jù)說(shuō)Spark在某些情況下比Hadoop快100倍，但是它沒(méi)有分布式存儲(chǔ)系統(tǒng)和分布式存儲(chǔ)是許多大型數(shù)據(jù)項(xiàng)目的基礎(chǔ)。可以在普通計(jì)算臺(tái)電腦幾乎無(wú)限的硬盤(pán)上存儲(chǔ)PB級(jí)數(shù)據(jù)臺(tái)，并提供良好的可擴(kuò)展性，隨著數(shù)據(jù)臺(tái)的增加只需要增加硬盤(pán)。所以Spark需要一個(gè)第三方分布式。很多大型數(shù)據(jù)項(xiàng)目在Hadoop上安裝Spark，這樣Spark的高級(jí)分析應(yīng)用就可以使用數(shù)據(jù)存儲(chǔ)在HDFS。與Hadoop相比，Spark真正的優(yōu)勢(shì)在于速度。Spark的大部分操作都在內(nèi)存中，每次操作后都會(huì)安裝Hadoop的MapReduce系統(tǒng)。

hadoopYes分布式系統(tǒng)基礎(chǔ)設(shè)施。Hadoop是Apache基金會(huì)開(kāi)發(fā)的一個(gè)分布式系統(tǒng)基礎(chǔ)設(shè)施，是一個(gè)可以處理大量數(shù)據(jù) 分布式的軟件框架；Hadoop以可靠、高效和可擴(kuò)展的方式處理數(shù)據(jù)用戶(hù)可以在不了解分布式底層細(xì)節(jié)的情況下開(kāi)發(fā)分布式程序。用戶(hù)可以在Hadoop上輕松開(kāi)發(fā)和運(yùn)行處理大量數(shù)據(jù)的應(yīng)用。