hadoop分布式計算，這是支持Hadoop的基礎(chǔ)分布式計算，可以使Hadoop系統(tǒng)高效處理大規(guī)模。hadoop它是做什么的hadoop是分布式系統(tǒng)基礎(chǔ)設(shè)施，除了Hadoop，還有哪些平臺分布式 計算？數(shù)據(jù)中國hadoop核心技術(shù)是什么？Hadoop項目是以可靠性、可擴展性和分布式 計算為目的開發(fā)的開源軟件。

Hadoop的三個核心組件是HDFS、MapReduce和YARN。HDFS是Hadoop生態(tài)系統(tǒng)中的分布式文件系統(tǒng)，用來存儲大規(guī)模的數(shù)據(jù)集。HDFS將數(shù)據(jù)分布在多個節(jié)點上，支持?jǐn)?shù)據(jù)的冗余備份，保證數(shù)據(jù)的可靠性和高可用性。是支持Hadoop分布式計算，使Hadoop系統(tǒng)高效處理大規(guī)模數(shù)據(jù)的基礎(chǔ)。MapReduce是Hadoop生態(tài)系統(tǒng)中的分布式 計算框架，用于處理大規(guī)模的數(shù)據(jù)集合。

MapReduce框架可以自動管理任務(wù)的調(diào)度、容錯、負(fù)載均衡等問題，使Hadoop能夠高效運行大型數(shù)據(jù)處理任務(wù)。YARN是Hadoop2.0推出的新一代資源管理器，用于管理Hadoop集群中的計算資源。YARN支持多種應(yīng)用框架，包括MapReduce和Spark，使得Hadoop生態(tài)系統(tǒng)更加靈活多樣。

Spark已經(jīng)取代Hadoop成為最活躍的開源項目數(shù)據(jù)。但是，企業(yè)在選擇大型數(shù)據(jù)框架時，不能厚此薄彼。著名專家BernardMarr在一篇文章中分析了Spark和Hadoop的異同。Hadoop和Spark都是big 數(shù)據(jù)框架，都提供了一些工具來執(zhí)行常見的big 數(shù)據(jù)任務(wù)，但恰恰，它們執(zhí)行的是不同的任務(wù)。雖然據(jù)說Spark在某些情況下比Hadoop快100倍，但是它沒有分布式存儲系統(tǒng)和分布式存儲是許多大型數(shù)據(jù)項目的基礎(chǔ)?？梢栽谄胀ㄓ嬎闩_電腦幾乎無限的硬盤上存儲PB級數(shù)據(jù)臺，并提供良好的可擴展性，隨著數(shù)據(jù)臺的增加只需要增加硬盤。所以Spark需要一個第三方分布式。很多大型數(shù)據(jù)項目在Hadoop上安裝Spark，這樣Spark的高級分析應(yīng)用就可以使用數(shù)據(jù)存儲在HDFS。與Hadoop相比，Spark真正的優(yōu)勢在于速度。Spark的大部分操作都在內(nèi)存中，每次操作后都會安裝Hadoop的MapReduce系統(tǒng)。

hadoopYes分布式系統(tǒng)基礎(chǔ)設(shè)施。Hadoop是Apache基金會開發(fā)的一個分布式系統(tǒng)基礎(chǔ)設(shè)施，是一個可以處理大量數(shù)據(jù) 分布式的軟件框架；Hadoop以可靠、高效和可擴展的方式處理數(shù)據(jù)用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序。用戶可以在Hadoop上輕松開發(fā)和運行處理大量數(shù)據(jù)的應(yīng)用。