Da 數(shù)據(jù)近年來越來越受歡迎。當(dāng)人們提到Da 數(shù)據(jù)，就會遇到很多相關(guān)的概念問題，比如云計算、Hadoop等。那么，什么是Big 數(shù)據(jù)，什么是Hadoop，Big 數(shù)據(jù)和Hadoop有什么關(guān)系呢？Da 數(shù)據(jù)的概念早在1980年由著名未來學(xué)家阿爾文·托夫勒提出。2009年，美國互聯(lián)網(wǎng)數(shù)據(jù) Center確認(rèn)了偉大數(shù)據(jù)時代的來臨。隨著Google MapReduce和Google(GFS)的發(fā)布，large 數(shù)據(jù)不再只是用來描述大量的數(shù)據(jù)，還涵蓋了數(shù)據(jù)的處理速度。

1。HDFS的缺點:1 .無法實現(xiàn)低時延:由于hadoop是針對高數(shù)據(jù)吞吐量優(yōu)化的，所以犧牲了獲取數(shù)據(jù)的時延，所以對于低時延-2，HBase是更好的選擇。2.不適合存儲大量小文件:由于namenode將文件系統(tǒng)的meta 數(shù)據(jù)存儲在內(nèi)存中，因此文件系統(tǒng)中可以存儲的文件總數(shù)受到namenode內(nèi)存容量的限制。根據(jù)經(jīng)驗，每個文件、目錄和數(shù)據(jù) block的存儲信息約占150字節(jié)。

4.對于上傳到HDFS的文件，不支持文件修改。HDFS適合寫一次，讀多次。5.HDFS不支持多個用戶同時寫入，也就是說，只有一個用戶可以同時寫入。HDFS的優(yōu)勢:1 .可靠性高。Hadoop對數(shù)據(jù)的逐位存儲和處理能力是值得信賴的。2.高可擴展性。Hadoop將數(shù)據(jù)分布在可用的計算機集群中，可以輕松擴展到數(shù)千個節(jié)點。

由Apache基金會開發(fā)的分布式系統(tǒng)基礎(chǔ)結(jié)構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下開發(fā)分布式程序，充分利用集群的力量進(jìn)行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)，其中之一就是HDFS。HDFS具有高容錯性的特點，設(shè)計用于部署在低成本的硬件上。而且提供了高吞吐量訪問應(yīng)用的數(shù)據(jù)，適用于那些數(shù)據(jù) dataset比較大的應(yīng)用。

Da-2hadoop要不要raid5字?jǐn)?shù)統(tǒng)計？它是最能體現(xiàn)MapReduce思想的最簡單的程序之一，堪稱MapReduce版本的“HelloWorld”。這個程序的完整代碼可以在Hadoop安裝包的“src/examples”目錄下找到。Da 數(shù)據(jù)探索:要不要考研？你考研的原因是什么？也許你會自己尋找答案.........................................................................................................................................................................

hive是一個基于Hadoop的數(shù)據(jù) 倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射到數(shù)據(jù) library表中，并提供簡單的sql查詢功能來轉(zhuǎn)換sql語句。它的優(yōu)點是學(xué)習(xí)成本低，不需要開發(fā)專門的MapReduce應(yīng)用程序，通過類SQL語句就可以快速實現(xiàn)簡單的MapReduce統(tǒng)計，非常適合-2倉庫的統(tǒng)計分析。它提供了一系列可以用于數(shù)據(jù) ETL的工具，ETL是一種可以存儲、查詢和分析大規(guī)模數(shù)據(jù)存儲在Hadoop中的機制。

(2).hive是一個基于hadoop的數(shù)據(jù) 倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射到表中，并提供類似SQL的查詢功能。(3).hive建立在hadoop數(shù)據(jù)倉庫:使用HQL語句作為查詢接口進(jìn)行存儲，使用HDFS進(jìn)行計算。(4)的本質(zhì)。Hive是將HQL轉(zhuǎn)換成MapReduce的程序。(5)良好的靈活性和擴展性:支持UDF，自定義存儲格式。

Hadoop本身就是一個分布式框架。如果是在hadoop的框架下，需要配合hbase、hive等工具計算數(shù)據(jù)的大小。再深入一點，還要了解HDFS、貼圖/還原、任務(wù)機制等等。如果要分析，還要考慮其他的分析和呈現(xiàn)工具。大數(shù)據(jù)只有分析才有價值。用于分析big 數(shù)據(jù)的工具主要有開源和商業(yè)生態(tài)系統(tǒng)。開源數(shù)據(jù)生態(tài)圈:1。HadoopHDFS MapReduce，

2.Hypertable是一個替代方案。它存在于Hadoop生態(tài)系統(tǒng)之外，但曾經(jīng)有過一些用戶。3.NoSQL，membase，MongoDb商業(yè)大學(xué)數(shù)據(jù)生態(tài)圈:1。一體機數(shù)據(jù)庫/倉庫:IBM Puredata(nete zza)。2 、/ -2/倉庫:teradatasterdata，EMCGreenPlum，

hadoop原理:最底層是HadoopDistributed(HDFS)，在Hadoop集群中的所有存儲節(jié)點上存儲文件。HDFS的上層是MapReduce引擎，由JobTrackers和TaskTrackers組成。通過介紹Hadoop分布式計算平臺的核心——分布式文件系統(tǒng)HDFS和MapReduce的處理過程，以及數(shù)據(jù)倉庫tool Hive和distributed數(shù)據(jù)library h base，基本涵蓋了Hadoop分布式計算平臺的所有技術(shù)核心。

該項目的創(chuàng)始人DougCutting解釋了Hadoop的名字:“這個名字是我的孩子為一個棕色的大象玩具命名的。我的命名標(biāo)準(zhǔn)很短，容易發(fā)音和拼寫，沒有太多意義，其他地方也不會用，兒童是這方面的專家。Hadoop是一個分布式計算平臺，用戶可以輕松構(gòu)建和使用，用戶可以在Hadoop上輕松開發(fā)和運行處理大量數(shù)據(jù)的應(yīng)用。