Hive是基于Hadoop的數(shù)據(jù)倉庫工具。它可以將結(jié)構(gòu)化數(shù)據(jù)文件映射到數(shù)據(jù)庫表中，并提供簡(jiǎn)單的sql查詢功能，可以將sql語句轉(zhuǎn)換成MapReduce，快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，它非常適用于數(shù)據(jù)倉庫的統(tǒng)計(jì)分析，無需開發(fā)專門的MapReduce應(yīng)用程序。

bigdata是指在可承受的時(shí)間范圍內(nèi)，傳統(tǒng)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。有人把數(shù)據(jù)比作有能量的煤礦。煤炭按性質(zhì)分為焦煤、無煙煤、肥煤和瘦煤，而露天煤礦和深山煤礦的采掘成本是不同的。同樣，大數(shù)據(jù)不是“大”，而是“有用”。價(jià)值含量和挖掘成本比數(shù)量更重要。對(duì)于很多行業(yè)來說，如何利用這些大規(guī)模的數(shù)據(jù)是贏得競(jìng)爭(zhēng)的關(guān)鍵。

“構(gòu)建一個(gè)大數(shù)據(jù)系統(tǒng)，需要從數(shù)據(jù)流的源頭追溯到最終有價(jià)值的產(chǎn)出，根據(jù)實(shí)際需求在現(xiàn)有的Hadoop和大數(shù)據(jù)生態(tài)中選擇和整合合適的組件，構(gòu)建一個(gè)能夠支持多種查詢和分析功能的系統(tǒng)平臺(tái)。這不僅包括數(shù)據(jù)存儲(chǔ)的選擇，還包括數(shù)據(jù)線上和數(shù)據(jù)線下處理的考慮和權(quán)衡。此外，沒有任何引入大數(shù)據(jù)解決方案的商業(yè)應(yīng)用會(huì)給生產(chǎn)環(huán)境帶來安全風(fēng)險(xiǎn)。

因此，大數(shù)據(jù)技術(shù)為實(shí)用服務(wù)是有意義的。一般來說，大數(shù)據(jù)可以從以下三個(gè)方面引導(dǎo)人們做出有價(jià)值的決策:報(bào)告生成(如基于用戶歷史點(diǎn)擊行為的跟蹤和綜合分析、應(yīng)用活躍度和用戶粘性計(jì)算等。);診斷分析(例如，分析用戶粘性下降的原因，根據(jù)日志分析系統(tǒng)性能下降的原因，檢測(cè)垃圾郵件和病毒的特征等。);決策(如個(gè)性化新聞閱讀或歌曲推薦，預(yù)測(cè)添加哪些功能增加用戶粘性，幫助廣告主精準(zhǔn)投放廣告，設(shè)置垃圾郵件和病毒攔截策略等。).

Pig是一種編程語言，它簡(jiǎn)化了Hadoop的常見任務(wù)。Pig可以加載數(shù)據(jù)、表達(dá)轉(zhuǎn)換后的數(shù)據(jù)并存儲(chǔ)最終結(jié)果。Pig的內(nèi)置操作使得半結(jié)構(gòu)化數(shù)據(jù)變得有意義。Hive在Hadoop中扮演數(shù)據(jù)倉庫的角色。Hive在HDFS中添加了數(shù)據(jù)結(jié)構(gòu)，并允許使用類似于SQL的語法進(jìn)行數(shù)據(jù)查詢。Pig是a 數(shù)據(jù)流語言和運(yùn)行環(huán)境，用于檢索非常大的數(shù)據(jù)集。

Pig包括兩部分:一部分是用來描述數(shù)據(jù)流的語言，稱為PigLatin；二是運(yùn)行PigLatin程序的執(zhí)行環(huán)境。Hive是基于Hadoop的數(shù)據(jù)倉庫工具。它可以將結(jié)構(gòu)化數(shù)據(jù)文件映射到數(shù)據(jù)庫表中，并提供簡(jiǎn)單的sql查詢功能?？梢詫ql語句轉(zhuǎn)換成MapReduce，快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)。它非常適用于數(shù)據(jù)倉庫的統(tǒng)計(jì)分析，無需開發(fā)專門的MapReduce應(yīng)用程序。

hadoop由hdfs和yarn保護(hù)。hdfs存儲(chǔ)數(shù)據(jù)，yarn管理資源。1.Hadoop common:Hadoop系統(tǒng)最底層的模塊，為Hadoop子項(xiàng)目提供各種工具，如配置文件、日志操作等。2.HDFS:分布式文件系統(tǒng)，提供高吞吐量的應(yīng)用程序數(shù)據(jù)訪問。對(duì)于外部客戶端，HDFS就像一個(gè)傳統(tǒng)的分層文件系統(tǒng)。

但是，HDFS的架構(gòu)是基于一組特定的節(jié)點(diǎn)，這是由其自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括NameNode(只有一個(gè))，它在HDFS境內(nèi)提供元數(shù)據(jù)服務(wù)；DataNode，它為HDFS提供存儲(chǔ)塊。因?yàn)橹挥幸粋€(gè)NameNode，這是HDFS的一個(gè)缺點(diǎn)(單點(diǎn)故障)。存儲(chǔ)在HDFS的文件被分成塊，然后這些塊被復(fù)制到多臺(tái)計(jì)算機(jī)(DataNode)。

考慮到現(xiàn)有技術(shù)解決方案的復(fù)雜性和多樣性，企業(yè)往往很難找到合適的大數(shù)據(jù)收集和分析工具。但是在混亂的局面下，多種方案紛至沓來，證明了它們能夠幫助你有效的完成大數(shù)據(jù)分析工作。下面回龍觀IT培訓(xùn)將整理出一份十大工具的清單，從而有效縮小選擇范圍。OpenRefine是一個(gè)流行的數(shù)據(jù)分析工具，適用于各種與分析相關(guān)的任務(wù)。

聚類完成后，可以開始分析。Hadoop大數(shù)據(jù)和Hadoop密不可分。這個(gè)軟件庫和框架可以通過簡(jiǎn)單的編程在計(jì)算機(jī)集群之間分發(fā)大規(guī)模數(shù)據(jù)集模型。它尤其擅長(zhǎng)處理大規(guī)模數(shù)據(jù)，并將其提供給本地設(shè)備。作為Hadoop的開發(fā)者，Apache也在不斷強(qiáng)化這個(gè)工具，提高它的實(shí)際效果。同樣來自Apache的Storm是另一個(gè)很棒的實(shí)時(shí)計(jì)算系統(tǒng)，它可以大大增強(qiáng)Infinite 數(shù)據(jù)流的處理效果。

大數(shù)據(jù)可以簡(jiǎn)單理解為:大數(shù)據(jù)是數(shù)據(jù)類別特別大的特別大的數(shù)據(jù)集，這樣的數(shù)據(jù)集是傳統(tǒng)數(shù)據(jù)庫工具無法抓取、管理和處理的。大數(shù)據(jù)技術(shù)體系龐大復(fù)雜，基礎(chǔ)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲(chǔ)、NoSQL數(shù)據(jù)庫、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等技術(shù)類別和不同技術(shù)層次，給出了一個(gè)通用的大數(shù)據(jù)處理框架，主要分為以下幾個(gè)方面:數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)查詢分析和數(shù)據(jù)可視化。