hadoop如何存儲(chǔ)大型數(shù)據(jù) Hadoop本身就是一個(gè)分布式框架。如果是在hadoop框架下，則需要配合hbase、hive等工具計(jì)算大數(shù)據(jù)，Hadoop，《Hadoop構(gòu)造數(shù)據(jù) 倉庫實(shí)踐》epub下載在線閱讀，開源Big 數(shù)據(jù) Ecosphere: 1，HadoopMapReduce。

配置單元日志默認(rèn)存儲(chǔ)在哪里？1.重要的配置單元日志配置property.hive.log.level確定配置單元日志級(jí)別，property.hive.log.dir確定配置單元日志存儲(chǔ)路徑，默認(rèn)情況下存儲(chǔ)在文件/tmp/user.name/hive.log中。2.其次，Hive中的數(shù)據(jù)全部存儲(chǔ)在HDFS，Hive包含以下數(shù)據(jù) models: Table、ExternalTable、Partition和Bucket。

一個(gè)公司不同的項(xiàng)目可能使用不同的數(shù)據(jù) sources，有的在MySQL，有的在MongoDB，有的甚至需要第三方數(shù)據(jù)。但現(xiàn)在我想整合數(shù)據(jù)并分析數(shù)據(jù)。這時(shí)，數(shù)據(jù)倉庫(數(shù)據(jù)倉庫，DW)就派上了用場(chǎng)。可以過濾整合各類業(yè)務(wù)數(shù)據(jù)，可以用于數(shù)據(jù)分析，數(shù)據(jù)挖掘，數(shù)據(jù)報(bào)表。一般來說，數(shù)據(jù) 倉庫根據(jù)某個(gè)主題集成了多個(gè)數(shù)據(jù)sources數(shù)據(jù)所以需要提取，因?yàn)榍懊娴臄?shù)據(jù)不一樣。

上面說了，數(shù)據(jù) 倉庫收到的數(shù)據(jù)來源不同。要整合，需要提取、清洗、轉(zhuǎn)化三個(gè)步驟。這是ETL(extractformload)，是基于Hadoop的開源。Hive可以對(duì)外提供HiveQL，這是一種類似于SQL語言的查詢語言。

Spark已經(jīng)取代Hadoop成為最活躍的開源項(xiàng)目數(shù)據(jù)。但是，在選擇大型數(shù)據(jù)框架時(shí)，企業(yè)不應(yīng)厚此薄彼。著名專家BernardMarr在一篇文章中分析了Spark和Hadoop的異同。Hadoop和Spark都是big 數(shù)據(jù)框架，都提供了一些工具來執(zhí)行常見的big 數(shù)據(jù)任務(wù)，但恰恰，它們執(zhí)行的是不同的任務(wù)。雖然據(jù)說Spark在某些情況下比Hadoop快100倍，但它沒有分布式存儲(chǔ)系統(tǒng)，而分布式存儲(chǔ)系統(tǒng)是許多大型數(shù)據(jù)項(xiàng)目的基礎(chǔ)。它可以在幾乎無限的普通計(jì)算機(jī)的硬盤上存儲(chǔ)PB級(jí)數(shù)據(jù) sets并提供良好的可擴(kuò)展性。你只需要隨著數(shù)據(jù)套的增加而增加硬盤即可。所以Spark需要一個(gè)第三方分布式存儲(chǔ)。正是因?yàn)檫@個(gè)原因，很多大型數(shù)據(jù)項(xiàng)目都在Hadoop上安裝Spark，這樣，Spark的高級(jí)分析應(yīng)用就可以使用數(shù)據(jù)存儲(chǔ)在HDFS。與Hadoop相比，Spark真正的優(yōu)勢(shì)在于速度。Spark的大部分操作都在內(nèi)存中，Hadoop的MapReduce系統(tǒng)會(huì)下載。