一直想整理一下這段內(nèi)容。既然是漫談，想到什么就說(shuō)什么。比如我一直在互聯(lián)網(wǎng)行業(yè)。列出互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)平臺(tái)的宗旨:整合公司所有業(yè)務(wù)數(shù)據(jù)建立統(tǒng)一的數(shù)據(jù)中心；提供各種報(bào)表，有的給高管，有的給各種業(yè)務(wù)；為網(wǎng)站運(yùn)營(yíng)提供運(yùn)營(yíng)支持?jǐn)?shù)據(jù)是指運(yùn)營(yíng)人員可以通過(guò)數(shù)據(jù)及時(shí)了解網(wǎng)站和產(chǎn)品的運(yùn)營(yíng)效果；為各類業(yè)務(wù)提供線上或線下數(shù)據(jù)支持，成為公司統(tǒng)一的數(shù)據(jù)交換和提供平臺(tái)；分析用戶行為數(shù)據(jù)，通過(guò)數(shù)據(jù)挖掘降低投入成本，提高投入效果；比如定向精準(zhǔn)廣告，用戶個(gè)性化推薦等。；開(kāi)發(fā)數(shù)據(jù)產(chǎn)品，直接或間接使公司受益；建設(shè)開(kāi)放數(shù)據(jù)平臺(tái)，開(kāi)放公司數(shù)據(jù)；。

Da 數(shù)據(jù)技術(shù)的實(shí)現(xiàn)離不開(kāi)其他很多技術(shù)，其中提到最多的就是Hadoop技術(shù)。其實(shí)目前Hadoop技術(shù)看似是一個(gè)自成體系的系統(tǒng)，其實(shí)不然。Hadoop和Spark和distributed 數(shù)據(jù)庫(kù)其實(shí)是不一樣的，所以本文會(huì)給大家介紹一下。首先說(shuō)一下Da 數(shù)據(jù)的分析?，F(xiàn)在Da 數(shù)據(jù)的分析系統(tǒng)以Hadoop生態(tài)為主，近年來(lái)越來(lái)越流行的Spark技術(shù)也是主要生態(tài)之一。

我們提到的Hadoop的歷史可以追溯到10年前。當(dāng)時(shí)，谷歌為了在數(shù)萬(wàn)臺(tái)PC服務(wù)器上構(gòu)建大型數(shù)據(jù)集合，并提供極高性能的并發(fā)訪問(wèn)能力，發(fā)明了一種新技術(shù)，而這種技術(shù)也是Hadoop誕生的理論基礎(chǔ)。如果從Hadoop誕生的背景來(lái)看，它解決的主要問(wèn)題是如何在超大規(guī)模集群中批量計(jì)算非結(jié)構(gòu)化數(shù)據(jù)。

Da 數(shù)據(jù)和傳統(tǒng)的數(shù)據(jù)的區(qū)別在于它們處理信息的方式不同。傳統(tǒng)的數(shù)據(jù)是指那些數(shù)據(jù)基本上只用于描述事實(shí)或提供結(jié)論性信息，沒(méi)有任何預(yù)測(cè)功能。換句話說(shuō)，它只包含客觀事件的真實(shí)情況。Da 數(shù)據(jù)則相反:它是一組高度聚合、分析和可視化的數(shù)據(jù)集合，其中每個(gè)元素都有一定的屬性(如時(shí)間、地點(diǎn)等。)，而且這些屬性之間存在著復(fù)雜的關(guān)系。

傳統(tǒng)的數(shù)據(jù)和大數(shù)據(jù)的區(qū)別首先，在大數(shù)據(jù)出現(xiàn)之前，計(jì)算機(jī)科學(xué)非常依賴模型和算法。人們要想得到準(zhǔn)確的結(jié)論，需要建立一個(gè)描述問(wèn)題的模型，同時(shí)需要理順邏輯，了解因果，設(shè)計(jì)精巧的算法，得出接近現(xiàn)實(shí)的結(jié)論。所以一個(gè)問(wèn)題能否得到最好的解決，取決于建模是否合理，各種算法的競(jìng)爭(zhēng)成為成敗的關(guān)鍵。但是“Da 數(shù)據(jù)”的出現(xiàn)，徹底改變了人們對(duì)建模和算法的依賴。

數(shù)據(jù)Warehouse:為企業(yè)各個(gè)層面的決策過(guò)程提供所有類型的支持策略(數(shù)據(jù))。Big 數(shù)據(jù):涉及的數(shù)據(jù)量如此巨大，以至于主流軟件工具無(wú)法在合理的時(shí)間內(nèi)對(duì)其進(jìn)行捕獲、管理、處理和整理，從而幫助企業(yè)做出更加積極的商業(yè)決策。傳統(tǒng)數(shù)據(jù)庫(kù):長(zhǎng)期存儲(chǔ)在計(jì)算機(jī)中的數(shù)據(jù)的有組織的、可共享的、統(tǒng)一的集合。其實(shí)從三個(gè)定義來(lái)看，我們似乎差別不大。

但不同的是應(yīng)用場(chǎng)景和構(gòu)造的技術(shù)原理不同。Traditional 數(shù)據(jù)庫(kù)是按照范式建模的存儲(chǔ)關(guān)系型數(shù)據(jù)的軟件，主要用于將OLTP(聯(lián)機(jī)事務(wù)處理)翻譯為聯(lián)機(jī)事務(wù)處理。Da 數(shù)據(jù)是基于mapredurce范式的出口處理和存儲(chǔ)軟件，主要用于OLAP和分析處理。數(shù)據(jù)和傳統(tǒng)的數(shù)據(jù)庫(kù)更大的區(qū)別在于數(shù)據(jù)處理的量和計(jì)算的量，當(dāng)傳統(tǒng)的數(shù)據(jù)庫(kù)無(wú)法在短時(shí)間內(nèi)計(jì)算出人們可以接受的結(jié)果時(shí)，那么這個(gè)/。

最商業(yè)化的是ORACLE，最專業(yè)，其次是微軟的SQLserver，也做的不錯(cuò)。當(dāng)然，DB2等也做得不錯(cuò)，這些都是大規(guī)模的數(shù)據(jù)庫(kù)，如果全面掌握，就能保證數(shù)據(jù)的安全。然后還有一些小的，適合中小企業(yè)數(shù)據(jù)庫(kù)100萬(wàn)數(shù)據(jù) next 數(shù)據(jù)。