大數(shù)據(jù)存儲與應(yīng)用的特點(diǎn)及技術(shù)路線分析大數(shù)據(jù)時(shí)代，數(shù)據(jù)呈爆炸式增長。從存儲服務(wù)的發(fā)展趨勢來看，一方面，數(shù)據(jù)存儲的需求越來越大；另一方面，對數(shù)據(jù)的有效管理提出了更高的要求。大數(shù)據(jù)對存儲設(shè)備的容量、讀寫性能、可靠性、擴(kuò)展性提出了更高的要求，需要充分考慮功能集成、數(shù)據(jù)安全、數(shù)據(jù)穩(wěn)定、系統(tǒng)可擴(kuò)展性、性能和成本。

其共同特征可以概括為3V:量、速、變(大規(guī)模、高速度、多樣性)。大數(shù)據(jù)具有數(shù)據(jù)量大、增長快的特點(diǎn)。其數(shù)據(jù)規(guī)模已經(jīng)從PB級增長到EB級，并且還在根據(jù)實(shí)際應(yīng)用和企業(yè)二次開發(fā)的需要不斷擴(kuò)大，正在快速向ZB(ZETABYTE)的規(guī)模邁進(jìn)。

大數(shù)據(jù)技術(shù)的體系龐大而復(fù)雜，基礎(chǔ)技術(shù)包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式存儲、數(shù)據(jù)庫、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)、并行計(jì)算、可視化等。1.數(shù)據(jù)采集和預(yù)處理:FlumeNG實(shí)時(shí)日志采集系統(tǒng)支持在日志系統(tǒng)中定制各種數(shù)據(jù)發(fā)送方進(jìn)行數(shù)據(jù)采集；Zookeeper是一個(gè)分布式開源的分布式應(yīng)用協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。2.數(shù)據(jù)存儲:Hadoop作為開源框架，是專門為離線和大規(guī)模數(shù)據(jù)分析而設(shè)計(jì)的，HDFS作為其核心存儲引擎，已經(jīng)廣泛應(yīng)用于數(shù)據(jù)存儲。

3.數(shù)據(jù)清洗:MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計(jì)算。4.數(shù)據(jù)查詢分析:Hive的核心工作是將SQL語句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射成數(shù)據(jù)庫表，提供HQL(HiveSQL)查詢功能。Spark支持內(nèi)存分布式數(shù)據(jù)集，不僅可以提供交互式查詢，還可以優(yōu)化迭代工作負(fù)載。

運(yùn)營商迎來大數(shù)據(jù)時(shí)代:管理和分析是巨大的挑戰(zhàn)。大數(shù)據(jù)并不是一個(gè)新概念。移動(dòng)互聯(lián)網(wǎng)發(fā)展后，數(shù)據(jù)增長速度加快，整個(gè)行業(yè)壓力突出。在傳統(tǒng)數(shù)據(jù)庫技術(shù)已經(jīng)不能滿足運(yùn)營商充分利用大數(shù)據(jù)需求的背景下，大數(shù)據(jù)成為近年來的熱點(diǎn)。對于運(yùn)營商來說，數(shù)據(jù)爆炸式增長帶來的收入并沒有改變。所以運(yùn)營商面臨著數(shù)據(jù)流的附加值被互聯(lián)網(wǎng)公司賺走的挑戰(zhàn)，同時(shí)也面臨著被管道化的尷尬。如何利用好運(yùn)營商手中的大數(shù)據(jù)，成為需要面對的問題。

運(yùn)營商新業(yè)務(wù)的出現(xiàn)導(dǎo)致了數(shù)據(jù)的爆炸。信令數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)的規(guī)模已經(jīng)達(dá)到數(shù)百TB，甚至PB。此外，據(jù)EMC大中華區(qū)數(shù)據(jù)計(jì)算事業(yè)部總經(jīng)理劉偉光介紹，數(shù)據(jù)的價(jià)值不僅與數(shù)據(jù)規(guī)模有關(guān)，還與數(shù)據(jù)處理周期直接相關(guān)。也就是說，數(shù)據(jù)處理越快、越及時(shí)，其價(jià)值就越大，效力也就越大。

大數(shù)據(jù)采集過程中通常會有一個(gè)或多個(gè)數(shù)據(jù)源。這些數(shù)據(jù)源包括同構(gòu)或異構(gòu)數(shù)據(jù)庫、文件系統(tǒng)、服務(wù)接口等。，易受噪聲數(shù)據(jù)、缺失數(shù)據(jù)值、數(shù)據(jù)沖突等影響。因此，首先需要對采集的大數(shù)據(jù)集進(jìn)行預(yù)處理，以保證大數(shù)據(jù)分析和預(yù)測結(jié)果的準(zhǔn)確性和價(jià)值。大數(shù)據(jù)的預(yù)處理主要包括數(shù)據(jù)清洗、數(shù)據(jù)整合、數(shù)據(jù)歸約和數(shù)據(jù)轉(zhuǎn)換，可以大大提高大數(shù)據(jù)的整體質(zhì)量，體現(xiàn)大數(shù)據(jù)處理的質(zhì)量。

大數(shù)據(jù)技術(shù)是從各類數(shù)據(jù)中快速獲取有價(jià)值信息的技術(shù)。大數(shù)據(jù)領(lǐng)域涌現(xiàn)出大量新技術(shù)，成為大數(shù)據(jù)采集、存儲、處理和呈現(xiàn)的有力武器，大數(shù)據(jù)處理的關(guān)鍵技術(shù)一般包括:大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲與管理、大數(shù)據(jù)分析與挖掘、大數(shù)據(jù)展示與應(yīng)用(大數(shù)據(jù)檢索、大數(shù)據(jù)可視化、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)安全等。).1.大數(shù)據(jù)采集技術(shù)數(shù)據(jù)是指通過RFID射頻數(shù)據(jù)、傳感器數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)獲得的各類結(jié)構(gòu)化、半結(jié)構(gòu)化(或弱結(jié)構(gòu)化)和非-1。