Da 數(shù)據(jù)技術(shù)的實(shí)現(xiàn)離不開(kāi)很多其他技術(shù)。Hadoop技術(shù)是被提及最多的技術(shù)。其實(shí)目前Hadoop技術(shù)看似是一個(gè)自成體系的系統(tǒng)，其實(shí)不然。Hadoop和Spark和distributed 數(shù)據(jù)庫(kù)其實(shí)是不一樣的。我們將在本文中向您介紹。首先說(shuō)一下大數(shù)據(jù)分析。目前的big 數(shù)據(jù)分析系統(tǒng)以Hadoop生態(tài)為主，近年來(lái)日益流行的Spark技術(shù)也是主要生態(tài)之一。

我們提到的Hadoop的歷史可以追溯到10年前。當(dāng)時(shí)，谷歌為了在數(shù)萬(wàn)臺(tái)PC服務(wù)器上構(gòu)建大型數(shù)據(jù)集合，并提供極高性能的并發(fā)訪問(wèn)能力，發(fā)明了一種新技術(shù)，而這種技術(shù)也是Hadoop誕生的理論基礎(chǔ)。如果從Hadoop誕生的背景來(lái)看，它解決的主要問(wèn)題是如何在超大規(guī)模集群中批量計(jì)算非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)本身很大數(shù)據(jù)庫(kù)，但是數(shù)據(jù)倉(cāng)庫(kù)整合自組織職務(wù)數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)是面向事務(wù)的設(shè)計(jì)，數(shù)據(jù)倉(cāng)庫(kù)是面向主題的設(shè)計(jì)；數(shù)據(jù)庫(kù)一般倉(cāng)儲(chǔ)業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)歷史一般存放在倉(cāng)庫(kù)數(shù)據(jù)；數(shù)據(jù)庫(kù)設(shè)計(jì)是為了盡可能避免冗余。一般是為某個(gè)業(yè)務(wù)應(yīng)用設(shè)計(jì)的，比如簡(jiǎn)單的用戶表，記錄用戶名和密碼很簡(jiǎn)單。數(shù)據(jù)符合業(yè)務(wù)應(yīng)用，但不符合分析。數(shù)據(jù)倉(cāng)庫(kù)在設(shè)計(jì)中有意引入冗余，根據(jù)分析要求進(jìn)行分析。

共同理解:數(shù)據(jù)倉(cāng)庫(kù):就像蓋房子給我們住一樣。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的作用可以實(shí)現(xiàn)跨業(yè)務(wù)線和跨系統(tǒng)數(shù)據(jù)集成，為管理分析和經(jīng)營(yíng)決策提供統(tǒng)一數(shù)據(jù)支持。數(shù)據(jù)倉(cāng)庫(kù)可以從根本上幫助你將公司的運(yùn)營(yíng)數(shù)據(jù)轉(zhuǎn)化為高價(jià)值的可獲取信息(或知識(shí))，在正確的時(shí)間以正確的方式將正確的信息傳遞給正確的人。數(shù)據(jù)中泰不僅會(huì)賣(mài)給你一套房子，還會(huì)提供全方位的配套服務(wù)，根據(jù)不同的客戶提供不同的戶型和不同的裝修。

Da 數(shù)據(jù)和傳統(tǒng) 數(shù)據(jù)有什么區(qū)別？說(shuō)到數(shù)據(jù)分析，其實(shí)隨著數(shù)據(jù)這幾年的發(fā)展，數(shù)據(jù)被認(rèn)為是物理與信息融合的關(guān)鍵技術(shù)和核心引擎。各行各業(yè)都在馬不停蹄地大步邁入“-4”時(shí)代。傳統(tǒng)行業(yè)與互聯(lián)網(wǎng)行業(yè)的界限已經(jīng)開(kāi)始交叉、互補(bǔ)、滲透。傳統(tǒng)的制造業(yè)不再是生產(chǎn) 轉(zhuǎn)售的模式，更多的是傾聽(tīng)市場(chǎng)的聲音。市場(chǎng)需要什么，消費(fèi)終端就會(huì)相應(yīng)地賦予它更多的多樣化和個(gè)性化。

即行數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，可以用二維表結(jié)構(gòu)進(jìn)行邏輯表達(dá)，比如某制造企業(yè)的ERP系統(tǒng)應(yīng)用oracle、SqlServer等。互聯(lián)網(wǎng)行業(yè)更加非結(jié)構(gòu)化數(shù)據(jù)，無(wú)法二維描述，如所有格式的辦公文檔、文本、圖片、XML、HTML、各種報(bào)表、圖像和音視頻信息，如醫(yī)學(xué)影像系統(tǒng)、教育視頻點(diǎn)播、視頻監(jiān)控、土地GIS、設(shè)計(jì)院、文件服務(wù)器(PDM/FTP)和媒體資源管理。

傳統(tǒng)數(shù)據(jù)庫(kù)很難處理大數(shù)據(jù)。不建議使用傳統(tǒng)數(shù)據(jù)庫(kù)處理大，建議Hadoop，Hive等?？梢蕴幚泶髷?shù)據(jù)，有預(yù)算的話可以用一些商業(yè)產(chǎn)品，比如永紅科技的國(guó)產(chǎn)產(chǎn)品，不僅可以處理大數(shù)據(jù)，還可以做數(shù)據(jù)分析。當(dāng)然，如果是簡(jiǎn)單的查詢，傳統(tǒng) 數(shù)據(jù)庫(kù)如果索引做得好，性能可能會(huì)有所提升。