Da 數(shù)據(jù)的由來(lái)給“大數(shù)據(jù)”研究機(jī)構(gòu)Gartner下了這樣的定義。“Da 數(shù)據(jù)”是一種信息資產(chǎn)，它需要新的處理模式，以具有更強(qiáng)的決策、洞察和流程優(yōu)化能力，以適應(yīng)大規(guī)模、高增長(zhǎng)率和多樣化。1麥肯錫全球研究所給出的定義是:在采集、存儲(chǔ)、管理、分析等方面遠(yuǎn)遠(yuǎn)超出傳統(tǒng)數(shù)據(jù)圖書館軟件工具能力的大型數(shù)據(jù)館藏，規(guī)模巨大，速度快-1。

換句話說(shuō)，如果把Da 數(shù)據(jù)比作一個(gè)行業(yè)，那么這個(gè)行業(yè)實(shí)現(xiàn)盈利的關(guān)鍵就在于提高數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上來(lái)說(shuō)，Da 數(shù)據(jù)和云計(jì)算的關(guān)系就像一枚硬幣的兩面一樣密不可分。大型數(shù)據(jù)無(wú)法由單臺(tái)計(jì)算機(jī)處理，必須采用分布式架構(gòu)。其特點(diǎn)在于海量數(shù)據(jù)的分布式挖掘。但是，它必須依賴于云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)。

hadoop的hdfs支持-1的海量存儲(chǔ)/ mapreduce支持?jǐn)?shù)據(jù)\ x0d \ X0a racle可以構(gòu)建一個(gè)集群，但是當(dāng)數(shù)據(jù)的量達(dá)到一定極限時(shí)，查詢處理速度會(huì)變得很慢，對(duì)機(jī)器性能要求會(huì)很高\(yùn) X0a其實(shí)這兩件事并不一樣。hadoop是分布式云處理架構(gòu)，傾向于數(shù)據(jù)計(jì)算，而oracle是關(guān)系型數(shù)據(jù)庫(kù)，傾向于數(shù)據(jù)存儲(chǔ)。

給你一個(gè)類的代碼，你一看就知道怎么連接；import Java . io . io exception；import Java . util . map；import org . Apache . Hadoop . conf . configuration；import org . Apache . Hadoop .hbase。HBA sec配置；import org . Apache . Hadoop .hbase。hcolumndedescriptor；import org . Apache . Hadoop .hbase。HTableDescriptorimport org . Apache . Hadoop .hbase. client . hbasedmin；import org . Apache . Hadoop .hbase. client . htable；import org . Apache . Hadoop .hbase. client . put；import org . Apache . Hadoop .hbase. client . result；publicclassHtable { p .

hbase三者中，存儲(chǔ)比較重要，它實(shí)現(xiàn)了類似mysql的doublewrite機(jī)制，但它是一個(gè)數(shù)據(jù) library，沒(méi)有sql，可以支持列存儲(chǔ)，所以它是一個(gè)比較大的內(nèi)存哈希表。hbase還采用了mysql中mvcc的思想，通過(guò)時(shí)間戳做版本控制。hbase基于hdfs，可以看作是數(shù)據(jù)的一種組織模式，是基于hadoop的分布式數(shù)據(jù)庫(kù)系統(tǒng)。

hbase作為一個(gè)面向列的數(shù)據(jù) library，它支持逐列讀取和行讀取，解決了關(guān)系型數(shù)據(jù) library中表分離的一些要求，如:關(guān)系型數(shù)據(jù) library中某些表的列重復(fù)。Hive和impala更傾向于查詢分析。黑斑羚需要依靠蜂巢的meta 數(shù)據(jù)。他們都有自己的查詢分析引擎，但impala是一個(gè)純粹的查詢分析引擎。

HDFS是GFS的一個(gè)實(shí)現(xiàn)。它的全稱是分布式文件系統(tǒng)，類似于FAT32和NTFS。它是一種文件格式，是底層。HadoopHDFS為HBase提供了高可靠性的底層存儲(chǔ)支持。HBase是GoogleBigtable的開源實(shí)現(xiàn)，類似于GoogleBigtable使用GFS作為其文件存儲(chǔ)系統(tǒng)，HBase使用HadoopHDFS作為其文件存儲(chǔ)系統(tǒng)。

三種最常見(jiàn)的故障是名稱節(jié)點(diǎn)故障、節(jié)點(diǎn)故障和網(wǎng)絡(luò)斷開。2.復(fù)制一個(gè)數(shù)據(jù) node，定期向名稱節(jié)點(diǎn)發(fā)送心跳包。網(wǎng)絡(luò)斷開將導(dǎo)致數(shù)據(jù)節(jié)點(diǎn)的子集與名稱節(jié)點(diǎn)失去聯(lián)系。名稱節(jié)點(diǎn)根據(jù)丟失的心跳信息判斷故障。名稱節(jié)點(diǎn)將這些數(shù)據(jù)節(jié)點(diǎn)標(biāo)記為死節(jié)點(diǎn)，并且不會(huì)向這些數(shù)據(jù)節(jié)點(diǎn)轉(zhuǎn)發(fā)新的IO請(qǐng)求。數(shù)據(jù)節(jié)點(diǎn)將不再對(duì)HDFS可用，這可能會(huì)導(dǎo)致某些塊的復(fù)制因子降低到指定值。

hive是一個(gè)基于Hadoop的數(shù)據(jù) warehouse工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射到數(shù)據(jù) library表中，并提供完整的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換成MapReduce任務(wù)運(yùn)行。優(yōu)點(diǎn):學(xué)習(xí)成本低，通過(guò)類SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的MapReduce統(tǒng)計(jì)，無(wú)需開發(fā)專門的MapReduce應(yīng)用，非常適合數(shù)據(jù) warehouse的統(tǒng)計(jì)分析，hive和Relational數(shù)據(jù)Library 1的區(qū)別。數(shù)據(jù)加載關(guān)系數(shù)據(jù)庫(kù):加載時(shí)由力決定表的加載方式數(shù)據(jù)(表的加載方式參考，如果數(shù)據(jù)被加載，并且發(fā)現(xiàn)數(shù)據(jù)不符合模式，則關(guān)系數(shù)據(jù)庫(kù)將拒絕加載數(shù)據(jù)，這稱為“寫時(shí)模式”，寫時(shí)模式將在。