數(shù)據(jù)量大的時(shí)代，數(shù)據(jù)更多。全球知名咨詢公司麥肯錫最早提出“大數(shù)據(jù)”時(shí)代正在到來。麥肯錫表示:“數(shù)據(jù)已經(jīng)滲透到每個(gè)行業(yè)和商業(yè)功能領(lǐng)域，成為重要的生產(chǎn)要素。人們對(duì)海量數(shù)據(jù)的挖掘和應(yīng)用，預(yù)示著新一波生產(chǎn)力增長(zhǎng)和消費(fèi)者剩余的到來?！薄癉a 數(shù)據(jù)”在物理、生物、環(huán)境生態(tài)、軍事、金融、通信等行業(yè)領(lǐng)域已經(jīng)有一段時(shí)間了，但是因?yàn)榻陙砘ヂ?lián)網(wǎng)和信息產(chǎn)業(yè)的發(fā)展而引起人們的關(guān)注。

學(xué)習(xí)對(duì)于分類和抽象復(fù)雜的信息非常重要。對(duì)應(yīng)大數(shù)據(jù)技術(shù)體系，雖然各種技術(shù)百花齊放，但是大數(shù)據(jù)技術(shù)本質(zhì)上解決了四個(gè)核心問題。存儲(chǔ)，海量數(shù)據(jù)如何有效存儲(chǔ)，主要包括hdfs和Kafka；計(jì)算，海量數(shù)據(jù)如何快速計(jì)算，主要有MapReduce，Spark，F(xiàn)link等。查詢，海量數(shù)據(jù)如何快速查詢，主要是Nosql和Olap，Nosql主要有Hbase，Cassandra等。，其中olap包括kylin、impla等。，其中Nosql主要解決隨機(jī)查詢，Olap技術(shù)主要解決關(guān)聯(lián)查詢；

文章6、一文看懂大 數(shù)據(jù)的技術(shù)生態(tài)圈

了解到數(shù)據(jù)是一個(gè)非常寬泛的概念，Hadoop生態(tài)系統(tǒng)(或泛生態(tài)系統(tǒng))基本上就是為了應(yīng)對(duì)數(shù)據(jù)而生的，超出了單機(jī)的規(guī)模。你可以把它比作廚房需要的各種工具。鍋碗瓢盆各有用途，相互重疊。可以直接從湯鍋里喝湯吃，也可以用刀或者刨削。但是每個(gè)工具都有自己的特點(diǎn)。雖然奇怪的組合可以工作，但它們可能不是最佳選擇。

傳統(tǒng)的文件系統(tǒng)是獨(dú)立的，不能跨越不同的機(jī)器。HDFS(HadoopDistributed)是為大量數(shù)據(jù)設(shè)計(jì)的，可以跨越數(shù)百臺(tái)機(jī)器，但是你看到的是一個(gè)文件系統(tǒng)，而不是很多文件系統(tǒng)。比如說你說我要獲取數(shù)據(jù) of /hdfs/tmp/file1，你指的是一個(gè)文件路徑，但是實(shí)際的數(shù)據(jù)是存儲(chǔ)在很多不同的機(jī)器上。作為用戶，你不需要知道這些，就像你不關(guān)心文件分散在單臺(tái)機(jī)器的什么磁道和扇區(qū)一樣。

Da數(shù)據(jù):Da數(shù)據(jù)，也稱巨量數(shù)據(jù)，是指所涉及的數(shù)據(jù)數(shù)據(jù)龐大到無法通過人腦甚至主流軟件工具來捕捉、管理、處理和組織，以幫助企業(yè)在合理的時(shí)間內(nèi)運(yùn)作。網(wǎng)船科技基于移動(dòng)互聯(lián)網(wǎng)數(shù)據(jù)采集，分析用戶行為，借助數(shù)據(jù)挖掘?qū)崿F(xiàn)全流程數(shù)據(jù)分析解決方案。使用的分析工具是業(yè)界最先進(jìn)的AdobeInsight。

各行各業(yè)都有一個(gè)大數(shù)據(jù)但是大量的信息和咨詢比較復(fù)雜，需要我們?nèi)ニ阉?、加工、分析、歸納、總結(jié)其深層次的規(guī)律?！洞?0》合集:科學(xué)技術(shù)和互聯(lián)網(wǎng)的發(fā)展推動(dòng)了“大-0”時(shí)代的到來，各行各業(yè)每天都在產(chǎn)生海量的數(shù)據(jù)碎片，數(shù)據(jù)的計(jì)量單位也從字節(jié)、KB變成了。大數(shù)據(jù)Times數(shù)據(jù)的集合已經(jīng)不是技術(shù)問題，只是面對(duì)這么多數(shù)據(jù)，怎么才能找到它的內(nèi)在規(guī)律呢？

在8、大 數(shù)據(jù)時(shí)代下的存儲(chǔ)形態(tài)

big 數(shù)據(jù)的時(shí)代，存儲(chǔ)形式是big 數(shù)據(jù)，移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)據(jù) analytics、云服務(wù)等應(yīng)用的快速普及對(duì)數(shù)據(jù) center提出了革命性的需求。政府、軍工、科研院所、航空航天、大型商業(yè)連鎖、醫(yī)療、金融、新媒體、廣播電視等領(lǐng)域的新興應(yīng)用層出不窮。數(shù)據(jù)的價(jià)值日益凸顯，數(shù)據(jù)已經(jīng)成為不可或缺的資產(chǎn)。存儲(chǔ)系統(tǒng)作為數(shù)據(jù)的載體和驅(qū)動(dòng)力，已經(jīng)成為大型數(shù)據(jù)基礎(chǔ)設(shè)施中最關(guān)鍵的核心。

新型大數(shù)據(jù)中心除了傳統(tǒng)的高可靠、高冗余、綠色節(jié)能之外，還需要虛擬化、模塊化、彈性擴(kuò)展、自動(dòng)化等一系列特性來滿足大數(shù)據(jù)特點(diǎn)的應(yīng)用需求。這些前所未有的需求給存儲(chǔ)系統(tǒng)的架構(gòu)和功能帶來了前所未有的變化，基于large 數(shù)據(jù) application的需求，提出了“應(yīng)用定義存儲(chǔ)”的概念。作為數(shù)據(jù) center的核心，存儲(chǔ)系統(tǒng)不再僅僅是傳統(tǒng)的分散的、單一的底層設(shè)備。