3.數據清洗:MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數據集的并行計算。4.數據查詢分析:Hive的核心工作是將SQL語句翻譯成MR程序，可以將結構化數據映射到一個數據庫表中，并提供HQL(HiveSQL)查詢功能。Spark支持內存分布式數據集，不僅可以提供交互式查詢，還可以優(yōu)化迭代工作負載。

大數據存儲與應用的特點及技術路線分析大數據時代，數據呈爆炸式增長。從存儲服務的發(fā)展趨勢來看，一方面，數據存儲的需求越來越大；另一方面，對數據的有效管理提出了更高的要求。大數據對存儲設備的容量、讀寫性能、可靠性、擴展性提出了更高的要求，需要充分考慮功能集成、數據安全、數據穩(wěn)定、系統(tǒng)可擴展性、性能和成本。

其共同特征可以概括為3V:量、速、變(大規(guī)模、高速度、多樣性)。大數據具有數據量大、增長快的特點。其數據規(guī)模已經從PB級增長到EB級，并且還在根據實際應用和企業(yè)二次開發(fā)的需要不斷擴大，正在快速向ZB(ZETABYTE)的規(guī)模邁進。

作為一個數據平臺，大數據存儲不僅僅是一個數據存儲的設備。它需要能夠提供經濟高效的規(guī)模和功能，消除數據遷移，沒有存儲孤島，提供全局可訪問的數據保護，并保持數據可用性。1.提供經濟高效的規(guī)模和功能不僅需要購買行業(yè)標準的服務器和存儲產品，還需要確保產品的可擴展性和性能。而且隨著硬件的發(fā)展，可以按需擴展，存儲系統(tǒng)需要能夠不斷滿足企業(yè)的需求，通過增加存儲系統(tǒng)來維持數據增長的性能要求。

3.拒絕存儲孤島。為了充分利用大數據的機會，企業(yè)必須能夠訪問所有數據。為了實現這一目標，新的存儲平臺必須能夠滿足這一要求，并消除這些傳統(tǒng)的存儲孤島，而不是簡單地添加另一種存儲解決方案。4.提供全球管理模式。在大數據快速增長的時代，集中式數據管理模式不再可行。單點故障的成本會很高。大數據存儲平臺必須能夠管理分布在全球企業(yè)中的數據。

解決數據安全存儲的策略包括數據加密、用戶安全認證、數據備份、使用跟蹤過濾器和數據恢復。1.數據加密:首先，在大數據安全服務的設計中，根據數據安全存儲的要求，大數據在存儲前進行加密。比如HBASE提供的數據加密功能，詳細到可以加密一列私密數據；其次，它可以通過鏈路加密在數據集節(jié)點和應用之間安全傳輸大數據。

2.用戶安全認證:通過對用戶身份信息的管理，引入第三方認證服務器如KDC(KeyDistributionCenter)，對集群內外的訪問進行安全識別和認證，屏蔽非法用戶的惡意訪問，從而進一步提高數據的安全性。3.數據備份:通過系統(tǒng)容災、定時備份、數據檢索、自動健康診斷等功能，對大數據集群內的數據進行保護，確保一旦大數據環(huán)境遭到破壞，能夠將影響和損失降到最低。

隨著數據時代的到來，數據的存儲有以下幾個主要要求:一是海量數據的及時有效存儲。根據現行的技術和預防法規(guī)和標準，系統(tǒng)采集的信息應保存不少于30天。數據量隨時間線性增長。其次，數據存儲系統(tǒng)需要具有可擴展性，既要滿足海量數據的持續(xù)增長，又要滿足獲取更高分辨率或更多采集點的數據需求。第三，對存儲系統(tǒng)的性能要求非常高。在多路并發(fā)存儲的情況下，對帶寬、數據容量、緩存等要求較高，需要針對視頻性能進行優(yōu)化。

目前大數據存儲有行存儲和列存儲兩種方案。對于這兩種存儲方案有許多爭論，焦點是:誰能更有效地處理海量數據，并兼顧安全性、可靠性和完整性？從目前的發(fā)展情況來看，關系數據庫已經不適應這種巨大的存儲容量和計算需求，基本上被幾個已知的大數據處理軟件淘汰。Hadoop的HBase使用列存儲，MongoDB使用基于文檔的行存儲，Lexst在這里使用二進制行存儲，我不討論這些軟件的技術和優(yōu)缺點，只圍繞機械磁盤的物理特性分析行存儲和列存儲的存儲特點，以及由此產生的一些問題和解決方法。