客戶端通過調用對象的open()方法打開文件(對應HDFS文件系統(tǒng)，調用分布式對象)(也就是圖中的第一步)，分布式通過RPC(remoteprocurecall Recall)查詢NameNode得到文件前幾個塊的文件位置(第二步)。對于每個塊，namenode返回擁有該塊備份的所有NameNode的地址信息(在集群的拓撲網絡中按離客戶端的距離排序，關于如何在Hadoop集群中進行網絡拓撲，請參見下面的介紹)。

本文翻譯了Hadoop系列下的This架構。原文經作者翻譯后，約6000字。之后，作者對內容進行了簡化和壓縮，以便作者和其他讀者在閱讀本文時能夠更高效、更快速地學習或復習Hadoop。本文主要介紹Hadoop的整體架構，包括但不限于節(jié)點的概念、命名空間、數據容錯機制、數據管理模式、簡單的腳本命令和垃圾收集概念。

HadoopDistributed(HDFS)是一個高容錯、高吞吐量的分布式文件系統(tǒng)，用于處理海量數據。HDFS一般由數百臺機器組成，每臺機器存儲整體的一部分數據 set 數據?？焖侔l(fā)現和恢復機器故障是HDFS的核心目標。HDFS接口的核心目標是高吞吐量而不是低延遲。HDFS支持海量數據集合，一個集群一般可以支持1000多萬個文件。

云計算的發(fā)展需要多種語言的共同參與。HADOOP只是云計算產品中的一個底層框架，適用于云盤、分布式計算等底層業(yè)務。很少有云產品只用一種開發(fā)語言解決所有問題。語言只是一種工具。關鍵是要學會在不同的應用場景下如何選擇合適的工具。云產品有很多框架，比如用Python寫的OpenStack，用Java寫的Hadoop。

Ceph項目源于Sage的博士工作(最早的成果發(fā)表于2004年)，之后貢獻給開源社區(qū)。經過幾年的發(fā)展，已經得到了眾多云計算廠商的支持和廣泛應用。RedHat和OpenStack都可以與Ceph集成，以支持虛擬機映像的后端存儲。Ceph的特點是高性能。a .摒棄傳統(tǒng)的集中式存儲單元數據尋址方案，采用CRUSH算法。數據分布均衡，并行度高。

Hadoop是一個可以分發(fā)大量數據的軟件框架。它可靠、高效且可擴展。Hadoop的核心是HDFS和Mapreduce，hadoop2.0還包括YARN。在teid的一些文章和例子中，會有通過Hive使用Hadoop作為數據來源的JBoss data virtual ization(teid)的信息。

ClouderaQuickstart等等，其中會包含大量的開源項目。本文主要是對Hadoop生態(tài)系統(tǒng)有一個初步的了解，以下一些開源項目的細節(jié)可以在hadoopecosystemtable中找到。MapReduceMapReduce是一個可編程模型，使用集群并行和分布式算法處理大型數據集。ApacheMapReduce源自GoogleMapReduce，簡化了大型集群中的數據處理。

硬件錯誤硬件錯誤是正常的而不是不正常的。HDFS可能由數百個服務器組成，每個服務器存儲文件系統(tǒng)數據的一部分。我們面臨的現實是，組成系統(tǒng)的組件數量巨大，任何組件都可能出現故障，這意味著HDFS總有一些組件不工作。因此，錯誤檢測和快速自動恢復是HDFS的核心架構目標。Streaming 數據對運行在HDFS上的應用程序的訪問不同于普通的應用程序，因此需要對其進行streaming數據sets。

與數據 access的低延遲相比，關鍵是數據 access的高吞吐量。POSIX標準設置的許多硬約束對于HDFS應用系統(tǒng)來說是不必要的。為了提高數據的吞吐量，在一些關鍵方面修改了POSIX的語義。大規(guī)模數據HDFS上運行的應用程序有一個大的數據集。HDFS上一個典型的文件大小通常是從G字節(jié)到T字節(jié)。因此，HDFS被調整為支持大文件存儲。

Hadoop的優(yōu)缺點:(1)優(yōu)點:(1)可靠性高。Hadoop對數據的逐位存儲和處理能力是值得信賴的。(2)高可擴展性。Hadoop將數據分布在可用的計算機集群中，可以輕松擴展到數千個節(jié)點。(3)效率高。Hadoop可以在節(jié)點之間動態(tài)移動數據并保證每個節(jié)點的動態(tài)平衡，所以處理速度非?？臁?/p>

Da 數據數量龐大，格式多樣。大量數據由家庭、制造工廠和辦公室、互聯網交易、社交網絡活動、自動化傳感器、移動設備和科研儀器中的各種設備產生。其爆炸式的增長已經超過了傳統(tǒng)IT基礎設施的處理能力，給企業(yè)和社會帶來了嚴峻的數據管理問題。因此，需要開發(fā)新的數據架構，開發(fā)和使用這些數據集合、數據管理、數據分析、知識形成和智能行動。

隨著科技的發(fā)展，人們已經能夠制造出具有處理功能的極其微小的傳感器，并開始將這些設備廣泛地布置在社會的各個角落，通過這些設備來監(jiān)控整個社會的運行。這些設備會不斷生成新的數據，這個數據生成方法是自動的，所以在數據收集方面，要從網絡上，包括物聯網、社交網絡、機構信息系統(tǒng)等，給數據附上時間和空間的標記，去偽存真，盡可能多的收集不同的來源，甚至是異構的數據，必要時還可以和歷史。