HDFS具有高容錯性的特點，設計用于部署在低成本的硬件上。而且提供了高吞吐量訪問應用的數據，適用于那些數據 dataset比較大的應用。HDFS放寬)POSIX要求，并可以在文件系統(tǒng)中流式訪問。

Hadoop的優(yōu)缺點:(1)優(yōu)點:(1)可靠性高。Hadoop的存儲和處理數據一點一點的能力是值得信賴的。(2)高可擴展性。Hadoop分發(fā)計算機器集群，完成計算任務。這些集群可以輕松擴展到數千個節(jié)點。1.MapReduce (MR)，最通用最流行的分布式 計算框架，因其開源實現Hadoop(臉書

2.Pregel和MR一樣，都是谷歌發(fā)明的。它的優(yōu)點是在完成一些適合抽象圖算法應用的計算時可以更高效。Giraph可以被視為一個更好的開發(fā)開源實現。3: Storm，Twitter的一個項目，叫做Hadoop的real-time 計算 platform，對于一些需要realtimeperformance的工作，可以比MR更高效。

原始地址:。集群構建形式Hadoop環(huán)境構建分為三種形式:單機模式、pseudo 分布式模式、全分布式模式。單機模式運行在單機上，沒有分布式文件系統(tǒng)，而是直接讀寫本地操作系統(tǒng)的文件系統(tǒng)。Pseudo 分布式也運行在單臺計算機上，但不同的是Java進程模仿了分布式中的各種節(jié)點。也就是說，在一臺機器上，它既是NameNode又是DataNode，或者既是JobTracker又是TaskTracker。

complete分布式real分布式，由三臺或三臺以上的物理機或虛擬機組成的集群。在Hadoop集群環(huán)境中，NameNode、SecondaryName和DataNode需要分布在不同的節(jié)點上，這就需要三臺服務器。前兩種模式一般用在開發(fā)或測試環(huán)境中，兩者都是生產環(huán)境中完全構建的分布式 mode。從分布式 storage的角度來看，集群中的節(jié)點由一個NameNode和若干個DataNode組成，另一個SecondaryNameNode作為NameNode的備份。

Hadoop項目是以可靠性、可擴展性和分布式-2/為目的開發(fā)的開源軟件?？煽?有備份，數據不易丟失。Hdfs可以備份數據?？蓴U展:存儲不足，加磁盤，加機器掛磁盤，分析CPU內存資源不足，加機器加內存分布式 計算:多臺機器同時計算一部分任務，然后，把每個計算。hadoop核心組件用于解決兩個核心問題:存儲和計算核心組件:1)HadoopCommon:一套分布式文件系統(tǒng)和通用I/O組件和接口(序列化、JavaRPC和持久性-3。

要從事云端工作計算，需要具備以下10項知識和技能:1。商業(yè)和金融技能。技術和商業(yè)的融合永遠是成功的絕對法寶，尤其是在cloud 計算時代。2.技術技能自從Cloud 計算問世以來，企業(yè)或其他機構可以精簡其IT資源，卸載大部分日常系統(tǒng)和應用管理，但這并不意味著它會閑置。你需要掌握編程語言技能，以便快速構建在互聯網上運行的應用程序。

4.項目管理技巧企業(yè)或組織不要因為cloud 計算的靈活性而粗心大意，導致項目延期或目標模糊，會使cloud 計算的成本優(yōu)勢化為烏有。5.合同和供應商談判技巧熟悉服務水平協(xié)議(SLA)和與SLA違反相關的問題，IT專業(yè)人員需要有一定的合同和供應商談判經驗。6.安全與合規(guī)IT專業(yè)人員在處理cloud 計算項目時，無論是否在美國，都必須全面掌握相關行業(yè)的安全協(xié)議和相關法律法規(guī)。

數據 Library和hadoop和分布式文件系統(tǒng)之間的區(qū)別和聯系。1.用向外擴展代替業(yè)務關系型的向上擴展是非常昂貴的數據 Library。他們的設計更容易擴大規(guī)模。要運行更大的數據庫，需要購買更大的機器。其實在市場上經?？梢钥吹椒掌鲝S商把自己昂貴的高端機叫做“數據庫級服務器”。但是，有時候你可能需要加工更大的數據臺，卻找不到足夠大的機器。

例如，一臺性能是標準PC四倍的機器的成本要比將同樣的四臺PC放在一個集群中高得多。Hadoop旨在能夠在商業(yè)PC集群上實現可擴展的架構。添加更多資源意味著為Hadoop集群添加更多機器。一個Hadoop集群的標準是10到100計算臺機器。事實上，如果不是出于開發(fā)目的，沒有理由在單個服務器上運行Hadoop。2.用鍵/值對替換關系表數據 library的一個基本原理是將數據按照一定的模式存儲在具有關系數據結構的表中。

虛擬機本身速度很慢，hive的使用也很重要。不能隨便寫，隨便寫，同樣的查詢方式，寫的方法不一樣，算法和時間也會不一樣。首先，hadoop engine只有節(jié)點規(guī)模上去了或者硬件配置上去了才能轉，配置很低。一看就知道是科技項目還是小作坊，你的要求很不合理。這種配置沒有優(yōu)化的余地，另一方面，HIVE原則上只是一個基本的SQL轉義。換句話說，當你上到計算的規(guī)模，HIVE優(yōu)化的本質是讓你優(yōu)化SQL，而不是HIVE有多強。