1。開源的大數據生態(tài)系統(tǒng)HadoopHDFS、HadoopMapReduce、HBase、Hive逐漸誕生，早期的Hadoop生態(tài)系統(tǒng)逐漸形成。開源生態(tài)系統(tǒng)是活躍的，免費的，但是Hadoop技術要求高，實時性差。2.商業(yè)大數據分析工具一體化數據庫/數據倉庫(高成本)IBM PureData (Netezza)、Oracle Exadata、

數據倉庫(高成本)Teradata Asterdata，EMC Greenplum，HPVertica等等。數據集市(平均成本)QlikView，Tableau，中國的永紅數據集市等等。前端呈現用于呈現分析的前端開源工具有JasperSoft、Pentaho、Spagobi、Openi、Birt等。

大數據時代的三種存儲架構_數據分析師考試大數據時代，移動互聯網、社交網絡、數據分析、云服務等應用的快速普及，對數據中心提出了革命性的需求，存儲基礎設施成為IT核心之一。政府、軍工、科研院所、航空航天、大型商業(yè)連鎖、醫(yī)療、金融、新媒體、廣播電視等領域的新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。

傳統(tǒng)的數據中心在性能、效率、投資收益、安全性等方面遠遠不能滿足新興應用的需求，數據中心業(yè)務急需新的大數據處理中心來支撐。新型大數據中心除了傳統(tǒng)的高可靠、高冗余、綠色節(jié)能外，還需要虛擬化、模塊化、彈性擴展、自動化等一系列特性，以滿足具有大數據特性的應用需求。這些前所未有的需求給存儲系統(tǒng)的架構和功能帶來了前所未有的變化。

(1)基于嵌入式架構的存儲系統(tǒng)節(jié)點NVR架構主要面向小型高清監(jiān)控系統(tǒng)，高清前端數量一般在幾十路以內。系統(tǒng)建設中沒有大型存儲監(jiān)控中心機房，存儲容量相對較小，對用戶體驗和系統(tǒng)功能集成要求較高。在市場應用方面，超市、商店、小企業(yè)、政法行業(yè)的基層管理單位應用廣泛。(2) SAN架構，基于X86架構的存儲系統(tǒng)平臺，主要面向中大型高清監(jiān)控系統(tǒng)，前端路徑數百條甚至上萬條。

作為監(jiān)控平臺的重要組成部分，前端監(jiān)控數據通過視頻存儲管理模塊存儲在s an中。(3)基于云技術的存儲方案目前安防行業(yè)可謂是一片“云”，一片“物”蓋。隨著視頻監(jiān)控的高清化和網絡化，存儲和管理的視頻數據量變得海量，云存儲技術是突破IP高清監(jiān)控存儲瓶頸的重要手段。云存儲作為一種服務，在未來的安防監(jiān)控行業(yè)有著客觀的應用前景。

PB或多PB基礎設施與傳統(tǒng)大規(guī)模數據集的區(qū)別，就像白天與黑夜的區(qū)別，就像在筆記本電腦上處理數據與在RAID陣列上處理數據的區(qū)別。當Day在2009年加入Shutterfly時，存儲已經成為該公司最大的支出，并且還在快速增長。每N PB的額外存儲意味著我們需要另一名存儲管理員來支持物理和邏輯基礎架構。Day表示，面對大規(guī)模的數據存儲，系統(tǒng)會更頻繁地出錯，任何管理大存儲的人都經常要處理硬件故障。

RAID問題的標準答案是復制，通常采用RAID陣列的形式。但Day表示，面對大規(guī)模數據，RAID在解決問題的同時，可能會產生更多的問題。在傳統(tǒng)的RAID數據存儲方案中，數據的每個副本都被鏡像并存儲在陣列的不同磁盤中，以確保完整性和可用性。但這意味著每個鏡像和存儲的數據將需要五倍于其自身的存儲空間。

目前大數據存儲有行存儲和列存儲兩種方案。對于這兩種存儲方案有許多爭論。焦點是:誰能更有效地處理海量數據，并兼顧安全性、可靠性和完整性？從目前的發(fā)展情況來看，關系數據庫已經不適應這種巨大的存儲容量和計算需求，基本上被幾個已知的大數據處理軟件淘汰。Hadoop的HBase使用列存儲，MongoDB使用基于文檔的行存儲，Lexst在這里使用二進制行存儲。我不討論這些軟件的技術和優(yōu)缺點，只圍繞機械磁盤的物理特性分析行存儲和列存儲的存儲特點，以及由此產生的一些問題和解決方法。

通常情況下，數據庫分為關系型數據庫和非關系型數據庫，關系型數據庫的優(yōu)勢是現在不可替代的，如MySQL、SQLServer、Oracle、DB2、SyBase、Informix、PostgreSQL和相對較小的Aess，支持復雜的SQL操作和事務機制，適用于小數據讀寫場景；但在大數據時代，人們更多的數據，物聯網增加的數據，已經超出了關系數據庫的承載范圍。