1。開源的大數(shù)據(jù)生態(tài)系統(tǒng)HadoopHDFS、HadoopMapReduce、HBase、Hive逐漸誕生，早期的Hadoop生態(tài)系統(tǒng)逐漸形成。開源生態(tài)系統(tǒng)是活躍的，免費(fèi)的，但是Hadoop技術(shù)要求高，實(shí)時(shí)性差。2.商業(yè)大數(shù)據(jù)分析工具一體化數(shù)據(jù)庫/數(shù)據(jù)倉庫(高成本)IBM PureData (Netezza)、Oracle Exadata、

數(shù)據(jù)倉庫(高成本)Teradata Asterdata，EMC Greenplum，HPVertica等等。數(shù)據(jù)集市(平均成本)QlikView，Tableau，中國的永紅數(shù)據(jù)集市等等。前端呈現(xiàn)用于呈現(xiàn)分析的前端開源工具有JasperSoft、Pentaho、Spagobi、Openi、Birt等。

大數(shù)據(jù)時(shí)代的三種存儲(chǔ)架構(gòu)_數(shù)據(jù)分析師考試大數(shù)據(jù)時(shí)代，移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)據(jù)分析、云服務(wù)等應(yīng)用的快速普及，對數(shù)據(jù)中心提出了革命性的需求，存儲(chǔ)基礎(chǔ)設(shè)施成為IT核心之一。政府、軍工、科研院所、航空航天、大型商業(yè)連鎖、醫(yī)療、金融、新媒體、廣播電視等領(lǐng)域的新興應(yīng)用層出不窮。數(shù)據(jù)的價(jià)值日益凸顯，數(shù)據(jù)已經(jīng)成為不可或缺的資產(chǎn)。

傳統(tǒng)的數(shù)據(jù)中心在性能、效率、投資收益、安全性等方面遠(yuǎn)遠(yuǎn)不能滿足新興應(yīng)用的需求，數(shù)據(jù)中心業(yè)務(wù)急需新的大數(shù)據(jù)處理中心來支撐。新型大數(shù)據(jù)中心除了傳統(tǒng)的高可靠、高冗余、綠色節(jié)能外，還需要虛擬化、模塊化、彈性擴(kuò)展、自動(dòng)化等一系列特性，以滿足具有大數(shù)據(jù)特性的應(yīng)用需求。這些前所未有的需求給存儲(chǔ)系統(tǒng)的架構(gòu)和功能帶來了前所未有的變化。

(1)基于嵌入式架構(gòu)的存儲(chǔ)系統(tǒng)節(jié)點(diǎn)NVR架構(gòu)主要面向小型高清監(jiān)控系統(tǒng)，高清前端數(shù)量一般在幾十路以內(nèi)。系統(tǒng)建設(shè)中沒有大型存儲(chǔ)監(jiān)控中心機(jī)房，存儲(chǔ)容量相對較小，對用戶體驗(yàn)和系統(tǒng)功能集成要求較高。在市場應(yīng)用方面，超市、商店、小企業(yè)、政法行業(yè)的基層管理單位應(yīng)用廣泛。(2) SAN架構(gòu)，基于X86架構(gòu)的存儲(chǔ)系統(tǒng)平臺，主要面向中大型高清監(jiān)控系統(tǒng)，前端路徑數(shù)百條甚至上萬條。

作為監(jiān)控平臺的重要組成部分，前端監(jiān)控?cái)?shù)據(jù)通過視頻存儲(chǔ)管理模塊存儲(chǔ)在s an中。(3)基于云技術(shù)的存儲(chǔ)方案目前安防行業(yè)可謂是一片“云”，一片“物”蓋。隨著視頻監(jiān)控的高清化和網(wǎng)絡(luò)化，存儲(chǔ)和管理的視頻數(shù)據(jù)量變得海量，云存儲(chǔ)技術(shù)是突破IP高清監(jiān)控存儲(chǔ)瓶頸的重要手段。云存儲(chǔ)作為一種服務(wù)，在未來的安防監(jiān)控行業(yè)有著客觀的應(yīng)用前景。

PB或多PB基礎(chǔ)設(shè)施與傳統(tǒng)大規(guī)模數(shù)據(jù)集的區(qū)別，就像白天與黑夜的區(qū)別，就像在筆記本電腦上處理數(shù)據(jù)與在RAID陣列上處理數(shù)據(jù)的區(qū)別。當(dāng)Day在2009年加入Shutterfly時(shí)，存儲(chǔ)已經(jīng)成為該公司最大的支出，并且還在快速增長。每N PB的額外存儲(chǔ)意味著我們需要另一名存儲(chǔ)管理員來支持物理和邏輯基礎(chǔ)架構(gòu)。Day表示，面對大規(guī)模的數(shù)據(jù)存儲(chǔ)，系統(tǒng)會(huì)更頻繁地出錯(cuò)，任何管理大存儲(chǔ)的人都經(jīng)常要處理硬件故障。

RAID問題的標(biāo)準(zhǔn)答案是復(fù)制，通常采用RAID陣列的形式。但Day表示，面對大規(guī)模數(shù)據(jù)，RAID在解決問題的同時(shí)，可能會(huì)產(chǎn)生更多的問題。在傳統(tǒng)的RAID數(shù)據(jù)存儲(chǔ)方案中，數(shù)據(jù)的每個(gè)副本都被鏡像并存儲(chǔ)在陣列的不同磁盤中，以確保完整性和可用性。但這意味著每個(gè)鏡像和存儲(chǔ)的數(shù)據(jù)將需要五倍于其自身的存儲(chǔ)空間。

目前大數(shù)據(jù)存儲(chǔ)有行存儲(chǔ)和列存儲(chǔ)兩種方案。對于這兩種存儲(chǔ)方案有許多爭論。焦點(diǎn)是:誰能更有效地處理海量數(shù)據(jù)，并兼顧安全性、可靠性和完整性？從目前的發(fā)展情況來看，關(guān)系數(shù)據(jù)庫已經(jīng)不適應(yīng)這種巨大的存儲(chǔ)容量和計(jì)算需求，基本上被幾個(gè)已知的大數(shù)據(jù)處理軟件淘汰。Hadoop的HBase使用列存儲(chǔ)，MongoDB使用基于文檔的行存儲(chǔ)，Lexst在這里使用二進(jìn)制行存儲(chǔ)。我不討論這些軟件的技術(shù)和優(yōu)缺點(diǎn)，只圍繞機(jī)械磁盤的物理特性分析行存儲(chǔ)和列存儲(chǔ)的存儲(chǔ)特點(diǎn)，以及由此產(chǎn)生的一些問題和解決方法。

通常情況下，數(shù)據(jù)庫分為關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫，關(guān)系型數(shù)據(jù)庫的優(yōu)勢是現(xiàn)在不可替代的，如MySQL、SQLServer、Oracle、DB2、SyBase、Informix、PostgreSQL和相對較小的Aess，支持復(fù)雜的SQL操作和事務(wù)機(jī)制，適用于小數(shù)據(jù)讀寫場景；但在大數(shù)據(jù)時(shí)代，人們更多的數(shù)據(jù)，物聯(lián)網(wǎng)增加的數(shù)據(jù)，已經(jīng)超出了關(guān)系數(shù)據(jù)庫的承載范圍。