Da 數(shù)據(jù)技術(shù)的實現(xiàn)離不開很多其他技術(shù)。Hadoop技術(shù)是被提及最多的技術(shù)。其實目前Hadoop技術(shù)看似是一個自成體系的系統(tǒng)，其實不然。Hadoop和Spark和distributed 數(shù)據(jù)庫其實是不一樣的。我們將在本文中向您介紹。首先說一下大數(shù)據(jù)分析。目前的big 數(shù)據(jù)分析系統(tǒng)以Hadoop生態(tài)為主，近年來日益流行的Spark技術(shù)也是主要生態(tài)之一。

我們提到的Hadoop的歷史可以追溯到10年前。當時，谷歌為了在數(shù)萬臺PC服務(wù)器上構(gòu)建大型數(shù)據(jù)集合，并提供極高性能的并發(fā)訪問能力，發(fā)明了一種新技術(shù)，而這種技術(shù)也是Hadoop誕生的理論基礎(chǔ)。如果從Hadoop誕生的背景來看，它解決的主要問題是如何在超大規(guī)模集群中批量計算非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)倉庫本身很大數(shù)據(jù)庫，但是數(shù)據(jù)倉庫整合自組織職務(wù)數(shù)據(jù)庫。數(shù)據(jù)庫是面向事務(wù)的設(shè)計，數(shù)據(jù)倉庫是面向主題的設(shè)計；數(shù)據(jù)庫一般倉儲業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)歷史一般存放在倉庫數(shù)據(jù)；數(shù)據(jù)庫設(shè)計是為了盡可能避免冗余。一般是為某個業(yè)務(wù)應(yīng)用設(shè)計的，比如簡單的用戶表，記錄用戶名和密碼很簡單。數(shù)據(jù)符合業(yè)務(wù)應(yīng)用，但不符合分析。數(shù)據(jù)倉庫在設(shè)計中有意引入冗余，根據(jù)分析要求進行分析。

共同理解:數(shù)據(jù)倉庫:就像蓋房子給我們住一樣。數(shù)據(jù)倉庫系統(tǒng)的作用可以實現(xiàn)跨業(yè)務(wù)線和跨系統(tǒng)數(shù)據(jù)集成，為管理分析和經(jīng)營決策提供統(tǒng)一數(shù)據(jù)支持。數(shù)據(jù)倉庫可以從根本上幫助你將公司的運營數(shù)據(jù)轉(zhuǎn)化為高價值的可獲取信息(或知識)，在正確的時間以正確的方式將正確的信息傳遞給正確的人。數(shù)據(jù)中泰不僅會賣給你一套房子，還會提供全方位的配套服務(wù)，根據(jù)不同的客戶提供不同的戶型和不同的裝修。

Da 數(shù)據(jù)和傳統(tǒng) 數(shù)據(jù)有什么區(qū)別？說到數(shù)據(jù)分析，其實隨著數(shù)據(jù)這幾年的發(fā)展，數(shù)據(jù)被認為是物理與信息融合的關(guān)鍵技術(shù)和核心引擎。各行各業(yè)都在馬不停蹄地大步邁入“-4”時代。傳統(tǒng)行業(yè)與互聯(lián)網(wǎng)行業(yè)的界限已經(jīng)開始交叉、互補、滲透。傳統(tǒng)的制造業(yè)不再是生產(chǎn) 轉(zhuǎn)售的模式，更多的是傾聽市場的聲音。市場需要什么，消費終端就會相應(yīng)地賦予它更多的多樣化和個性化。

即行數(shù)據(jù)存儲在數(shù)據(jù)庫中，可以用二維表結(jié)構(gòu)進行邏輯表達，比如某制造企業(yè)的ERP系統(tǒng)應(yīng)用oracle、SqlServer等?；ヂ?lián)網(wǎng)行業(yè)更加非結(jié)構(gòu)化數(shù)據(jù)，無法二維描述，如所有格式的辦公文檔、文本、圖片、XML、HTML、各種報表、圖像和音視頻信息，如醫(yī)學影像系統(tǒng)、教育視頻點播、視頻監(jiān)控、土地GIS、設(shè)計院、文件服務(wù)器(PDM/FTP)和媒體資源管理。

傳統(tǒng)數(shù)據(jù)庫很難處理大數(shù)據(jù)。不建議使用傳統(tǒng)數(shù)據(jù)庫處理大，建議Hadoop，Hive等。可以處理大數(shù)據(jù)，有預算的話可以用一些商業(yè)產(chǎn)品，比如永紅科技的國產(chǎn)產(chǎn)品，不僅可以處理大數(shù)據(jù)，還可以做數(shù)據(jù)分析。當然，如果是簡單的查詢，傳統(tǒng) 數(shù)據(jù)庫如果索引做得好，性能可能會有所提升。