大數(shù)據(jù)技術(shù)的體系龐大而復(fù)雜?；A(chǔ)技術(shù)包括數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、分布式存儲、數(shù)據(jù)庫、數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)和并行計算。1.數(shù)據(jù)采集和預(yù)處理:FlumeNG實時日志采集系統(tǒng)支持在日志系統(tǒng)中定制各種數(shù)據(jù)發(fā)送方進(jìn)行數(shù)據(jù)采集；Zookeeper是一個分布式開源的分布式應(yīng)用協(xié)調(diào)服務(wù)，提供數(shù)據(jù)同步服務(wù)。2.Data 存儲

3.數(shù)據(jù)清洗:MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計算。4.數(shù)據(jù)查詢分析:Hive的核心工作是將SQL語句翻譯成MR程序，可以將結(jié)構(gòu)化數(shù)據(jù)映射成a 數(shù)據(jù)庫 table，并提供HQL(HiveSQL)查詢功能。Spark支持內(nèi)存分布式數(shù)據(jù)集，不僅可以提供交互式查詢，還可以優(yōu)化迭代工作負(fù)載。

1、多媒體數(shù)據(jù)庫This kind數(shù)據(jù)庫Main存儲聲音、圖像、視頻等與多媒體相關(guān)的數(shù)據(jù)。多媒體數(shù)據(jù)最大的特點就是數(shù)據(jù)是連續(xù)的，數(shù)據(jù)量比較大。存儲需要大空間。2.Mobile 數(shù)據(jù)庫這種數(shù)據(jù)庫是在筆記本電腦、掌上電腦等移動計算機(jī)系統(tǒng)上開發(fā)的。這個數(shù)據(jù)庫最大的特點是通過無線數(shù)字通信網(wǎng)絡(luò)傳輸。手機(jī)數(shù)據(jù)庫可以隨時隨地獲取和訪問數(shù)據(jù)，給一些業(yè)務(wù)應(yīng)用和一些突發(fā)事件帶來了極大的便利。

與傳統(tǒng)的數(shù)據(jù)庫-4/相比，多媒體-4數(shù)據(jù)庫的這種組合，具有多媒體技術(shù)的優(yōu)點，豐富了數(shù)據(jù)接口，并可能帶來兩者的結(jié)合。多媒體數(shù)據(jù)庫的設(shè)計有很多問題需要解決:用戶界面支持、數(shù)據(jù)庫組織和存儲、媒體類型增加中信息分布的影響。4.信息檢索系統(tǒng)信息檢索是根據(jù)用戶輸入的信息從數(shù)據(jù)庫中搜索相關(guān)的文檔或信息，并將搜索到的信息反饋給用戶。

由于工作原因，比較關(guān)注對象存儲(比如AWS的S3，OpenStack的ceph)。這些系統(tǒng)近年來吸引了更多的關(guān)注，并且相對容易使用。他們的接口偏向上層應(yīng)用層，有HTTPRestful接口，也符合web2.0的發(fā)展趨勢，這些系統(tǒng)通常設(shè)計成KV系統(tǒng)。

每種解決方案都有自己的權(quán)衡。這個時候，關(guān)鍵就要平衡架構(gòu)設(shè)計和問題可解性。只有詳細(xì)了解了使用場景和需求，才能真正保留最多的關(guān)鍵功能，去掉不必要的復(fù)雜，這樣系統(tǒng)以后才可以擴(kuò)展?？梢哉f，初始考慮越少，添加的功能就越多。系統(tǒng)會變得更大更丑。索引和存儲都應(yīng)該是可擴(kuò)展的，易于操作的。對于每個存儲系統(tǒng)，