關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)。1.關(guān)系數(shù)據(jù)庫(kù)的特點(diǎn):數(shù)據(jù)的集中控制；減少數(shù)據(jù)冗余等。適用范圍:比較適合處理結(jié)構(gòu)化的數(shù)據(jù)，比如學(xué)生的成績(jī)，地址等。通常，這種數(shù)據(jù)需要結(jié)構(gòu)化查詢(xún)。2.非關(guān)系數(shù)據(jù)庫(kù)的特點(diǎn):易于擴(kuò)展；數(shù)據(jù)量大，性能高；靈活的數(shù)據(jù)模型等。使用范圍:模型比較簡(jiǎn)單；需要更靈活的IT系統(tǒng)；對(duì)數(shù)據(jù)庫(kù)性能的要求很高。擴(kuò)展數(shù)據(jù):非關(guān)系數(shù)據(jù)庫(kù)的分類(lèi):1。列存儲(chǔ)數(shù)據(jù)庫(kù)這部分?jǐn)?shù)據(jù)庫(kù)通常用于處理分布式存儲(chǔ)的海量數(shù)據(jù)。

這些柱是按柱族排列的。比如卡珊德拉，HBase，Riak。2.文檔數(shù)據(jù)庫(kù)文檔數(shù)據(jù)庫(kù)的靈感來(lái)源于LotusNotes辦公軟件，它類(lèi)似于第一個(gè)鍵值存儲(chǔ)。這種類(lèi)型的數(shù)據(jù)模型是版本化文檔，半結(jié)構(gòu)化文檔以特定的格式存儲(chǔ)，比如JSON?；谖臋n的數(shù)據(jù)庫(kù)可以看作是鍵值數(shù)據(jù)庫(kù)的升級(jí)版，允許鍵值嵌套在它們之間。而且文檔數(shù)據(jù)庫(kù)的查詢(xún)效率高于鍵值數(shù)據(jù)庫(kù)。

大數(shù)據(jù)的數(shù)據(jù)類(lèi)型有:1。結(jié)構(gòu)化數(shù)據(jù):可以用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)來(lái)表示，人們稱(chēng)之為結(jié)構(gòu)化數(shù)據(jù)，如數(shù)字、符號(hào)等；2.半結(jié)構(gòu)化數(shù)據(jù):所謂半結(jié)構(gòu)化數(shù)據(jù)是介于完全結(jié)構(gòu)化數(shù)據(jù)和完全非結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù)，XML和HTML文檔屬于半結(jié)構(gòu)化數(shù)據(jù)；3.非結(jié)構(gòu)化數(shù)據(jù):非結(jié)構(gòu)化數(shù)據(jù)庫(kù)是指字段長(zhǎng)度可變的數(shù)據(jù)庫(kù)，每隔一個(gè)字段的記錄可以由可重復(fù)或不可重復(fù)的子字段組成。它不僅可以處理結(jié)構(gòu)化數(shù)據(jù)，而且更適合處理非結(jié)構(gòu)化數(shù)據(jù)。

大數(shù)據(jù)我們都知道hadoop、Spark、Storm和impala，了解大數(shù)據(jù)各種技術(shù)之間的關(guān)系并選擇合適的語(yǔ)言。隨著大數(shù)據(jù)分析市場(chǎng)的快速擴(kuò)張，哪些技術(shù)需求最大，最具增長(zhǎng)潛力？在ForresterResearch最近的一份研究報(bào)告中，評(píng)估了整個(gè)數(shù)據(jù)生命周期中22項(xiàng)技術(shù)的成熟度和軌跡。這些技術(shù)為大數(shù)據(jù)的實(shí)時(shí)性、預(yù)測(cè)性和全面洞察性做出了巨大貢獻(xiàn)。

預(yù)測(cè)分析允許公司通過(guò)分析大數(shù)據(jù)源來(lái)發(fā)現(xiàn)、評(píng)估、優(yōu)化和部署預(yù)測(cè)模型，從而提高業(yè)務(wù)績(jī)效或降低風(fēng)險(xiǎn)。同時(shí)，大數(shù)據(jù)的預(yù)測(cè)分析也與我們的生活息息相關(guān)。淘寶會(huì)預(yù)測(cè)你每次購(gòu)物可能想買(mǎi)什么，愛(ài)奇藝在預(yù)測(cè)你可能想看什么，Lily.com和其他交友網(wǎng)站甚至試圖預(yù)測(cè)你會(huì)愛(ài)上誰(shuí)。2.NoSQL數(shù)據(jù)庫(kù)NoSQL，NotOnlySQL，意為“不僅僅是SQL”，一般指非關(guān)系數(shù)據(jù)庫(kù)。

在大數(shù)據(jù)處理過(guò)程中，數(shù)據(jù)庫(kù)提供底層支持，實(shí)現(xiàn)大數(shù)據(jù)的穩(wěn)定存儲(chǔ)，從而更好地支持下一步的大數(shù)據(jù)計(jì)算。今天的大數(shù)據(jù)基礎(chǔ)知識(shí)分享，我們來(lái)談?wù)劥髷?shù)據(jù)中數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別，如何理解它們，如何應(yīng)用它們。首先，什么是數(shù)據(jù)庫(kù)？根據(jù)定義，數(shù)據(jù)庫(kù)是存儲(chǔ)數(shù)據(jù)的倉(cāng)庫(kù)。數(shù)據(jù)庫(kù)由許多表組成，這些表是二維的，并且在一個(gè)表中有許多字段。字段對(duì)齊，數(shù)據(jù)逐行寫(xiě)入表中。

大數(shù)據(jù)技術(shù)是指從各種海量類(lèi)型的數(shù)據(jù)中快速獲取有價(jià)值信息的能力。適合大數(shù)據(jù)的技術(shù)有MPP數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)、可擴(kuò)展存儲(chǔ)系統(tǒng)等。大數(shù)據(jù)有以下四個(gè)特點(diǎn):一是數(shù)據(jù)量巨大。比如人類(lèi)生產(chǎn)的所有印刷品的數(shù)據(jù)量只有200PB。典型的個(gè)人電腦硬盤(pán)容量在TB量級(jí)，而一些大型企業(yè)的數(shù)據(jù)量接近EB量級(jí)。

現(xiàn)在的數(shù)據(jù)類(lèi)型不僅僅是文本，還有圖片、視頻、音頻、地理信息等各種類(lèi)型的數(shù)據(jù)，個(gè)性化數(shù)據(jù)占絕對(duì)多數(shù)。第三，處理速度快。數(shù)據(jù)處理遵循“1秒定律”，可以從各類(lèi)數(shù)據(jù)中快速獲取高價(jià)值信息。第四，價(jià)值密度低。以視頻為例。一個(gè)小時(shí)的視頻，在不斷測(cè)試的過(guò)程中，可能只有一兩秒鐘的有用數(shù)據(jù)。

目前大數(shù)據(jù)存儲(chǔ)有行存儲(chǔ)和列存儲(chǔ)兩種選擇。業(yè)界對(duì)兩種存儲(chǔ)方案的爭(zhēng)論很多，焦點(diǎn)是:誰(shuí)能更有效地處理海量數(shù)據(jù)，并兼顧安全性、可靠性和完整性，從目前的發(fā)展情況來(lái)看，關(guān)系數(shù)據(jù)庫(kù)已經(jīng)不適應(yīng)這種巨大的存儲(chǔ)容量和計(jì)算需求，基本被淘汰。在幾個(gè)已知的大數(shù)據(jù)處理軟件中，Hadoop的HBase采用列存儲(chǔ)，MongoDB采用基于文檔的行存儲(chǔ)，Lexst采用二進(jìn)制行存儲(chǔ)。