Hadoop它是由Apache Foundation開發(fā)的分布式系統(tǒng)基礎(chǔ)設(shè)施。用戶可以開發(fā)分布式程序，而無需了解發(fā)行版的底層細節(jié)。充分利用集群的力量進行高速操作和存儲。Hadoop框架的核心設(shè)計是HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供存儲，而MapReduce為海量數(shù)據(jù)提供計算。Yarn，它是Hadoop2.0的升級版。

在新的紗線中，ApplicationMaster是一個可更換的部件。用戶可以針對不同的編程模型編寫自己的AppMst，讓更多類型的編程模型可以在Hadoop集群中運行。請參考hadoopYarn官方配置模板中的mapredsite.xml配置。資源的表示基于內(nèi)存(在當前版本的Yarn中，不考慮cpu的占用)，比之前的剩余槽數(shù)更合理。

在數(shù)據(jù)處理中，我們發(fā)現(xiàn)數(shù)據(jù)輸入的速度一般要比數(shù)據(jù)處理的速度快很多，尤其是在大數(shù)據(jù)領(lǐng)域。隨著數(shù)據(jù)的不斷膨脹，相應(yīng)的響應(yīng)時間自然會增加，數(shù)據(jù)處理的復(fù)雜度也在增加。作為開發(fā)者，我們自然非常關(guān)心系統(tǒng)的運行速度。在云計算領(lǐng)域，一個小技巧可能會帶來系統(tǒng)的巨大提升性能。如何加速Hadoop？

Hadoop通過以下方式解決速度問題:1。使用分布式文件系統(tǒng)；2.優(yōu)化寫入速度；2.為了獲得更快的寫入速度，Hadoop架構(gòu)設(shè)計為先寫入記錄，然后使用批處理(Map/Reduce)來平衡數(shù)據(jù)傳輸速度和處理速度。批處理帶來的挑戰(zhàn)批處理的挑戰(zhàn)在于，必須間歇地輸入數(shù)據(jù)才能保證流程的正常運行，如果數(shù)據(jù)源持續(xù)輸入，系統(tǒng)會崩潰。

Spark已經(jīng)取代Hadoop成為最活躍的開源大數(shù)據(jù)項目。然而，在選擇大數(shù)據(jù)框架時，企業(yè)不應(yīng)厚此薄彼。最近，著名大數(shù)據(jù)專家BernardMarr在一篇文章中分析了Spark和Hadoop的異同。Hadoop和Spark都是大數(shù)據(jù)框架，并且都提供了一些工具來執(zhí)行常見的大數(shù)據(jù)任務(wù)。但確切地說，它們執(zhí)行的任務(wù)并不相同，彼此并不排斥。雖然據(jù)說Spark在某些情況下比Hadoop快100倍，但它本身并沒有分布式存儲系統(tǒng)，分布式存儲是當今許多大數(shù)據(jù)項目的基礎(chǔ)。它可以在幾乎無限的普通電腦硬盤上存儲PB級數(shù)據(jù)集，并提供良好的可擴展性。你只需要隨著數(shù)據(jù)集的增加而增加硬盤。所以Spark需要一個第三方分布式存儲。正是因為這個原因，許多大數(shù)據(jù)項目都在Hadoop上安裝Spark，這樣Spark的高級分析應(yīng)用程序就可以使用存儲在HDFS的數(shù)據(jù)。與Hadoop相比，Spark真正的優(yōu)勢在于速度。Spark的大部分操作都在內(nèi)存中，每次操作后都會安裝Hadoop的MapReduce系統(tǒng)。

基于Hadoop進行開發(fā)時，有時候會被Hadoop的運行模式所迷惑，分不清各種運行模式的區(qū)別，給日常開發(fā)帶來很多困惑，不同的集群配置文件也不一樣。要了解Hadoop的運行方式，以及它在配置文件中的作用，你必須頭腦清楚，這樣你才能在工作中取得成功。hadoop的配置文件都是用XML文件配置的，最常用的配置文件有四個，分別是:coresite.xml文件主要用于配置常用屬性。

mapredsite.xml文件用于配置Mapreduce的屬性。Yarnsite.xml文件用于配置yarn的屬性。一般來說，這四個配置文件存儲在hadoop默認安裝目錄etc/ hadoop子目錄中。但我們也可以在搭建集群時，根據(jù)實際需要，將etc/ hadoop目錄及其文件復(fù)制到另一個位置。這樣可以把配置文件和安裝文件分開，方便管理。

9、什么是大數(shù)據(jù)分析Hadoop?

大數(shù)據(jù)分析相關(guān)基礎(chǔ)解決方案，主要包括Hadoop簡介、大數(shù)據(jù)分析概述、基于MapReduce的大數(shù)據(jù)處理、PythonHadoop科學(xué)計算與大數(shù)據(jù)分析、Rhoop統(tǒng)計數(shù)據(jù)計算、Apache park批量分析、Apache park實時數(shù)據(jù)分析、Apache link批量分析、Apache link流處理、大數(shù)據(jù)可視化技術(shù)、云計算簡介、使用Amazon Web services等等。

接下來，我們將討論什么是Hadoop，以及Hadoop如何解決與大數(shù)據(jù)相關(guān)的問題。我們還將研究CERN案例研究，以突出使用Hadoop的優(yōu)勢。在之前的博客《大數(shù)據(jù)教程》中，我們已經(jīng)詳細討論了大數(shù)據(jù)及其挑戰(zhàn)。在這個博客中，我們將討論:1。傳統(tǒng)方法的問題。Hadoop 3的演進。Hadoop 4。面向Hadoop 5的即用型解決方案。什么時候用Hadoop？

Hadoop在可擴展性、健壯性、計算性能和成本上具有不可替代的優(yōu)勢，實際上已經(jīng)成為互聯(lián)網(wǎng)公司的主流大數(shù)據(jù)分析平臺。本文主要介紹了一種基于Hadoop平臺的多維分析和數(shù)據(jù)挖掘平臺架構(gòu)。作為一家互聯(lián)網(wǎng)數(shù)據(jù)分析公司，我們在海量數(shù)據(jù)分析領(lǐng)域真的是“被逼上梁山”了。多年來，在苛刻的業(yè)務(wù)需求和數(shù)據(jù)壓力下，我們嘗試了幾乎所有可能的大數(shù)據(jù)分析方法，最終登陸Hadoop平臺。

根據(jù)數(shù)據(jù)分析的實時性，可以分為實時數(shù)據(jù)分析和離線數(shù)據(jù)分析。實時數(shù)據(jù)分析一般用在金融、移動、互聯(lián)網(wǎng)B2C等產(chǎn)品中，往往需要幾秒鐘內(nèi)分析上億行數(shù)據(jù)，以達到不影響用戶體驗的目的，為了滿足這種需求，我們可以使用設(shè)計良好的傳統(tǒng)關(guān)系數(shù)據(jù)庫來組成并行處理集群，或者使用一些內(nèi)存計算平臺，或者采用HDD架構(gòu)，這無疑需要很高的軟硬件成本。