那么“Da 數(shù)據(jù)”到底是什么呢？在麥肯錫全球研究所給出的定義中，指出“大型數(shù)據(jù)”是一個(gè)集合，其規(guī)模之大，大大超過(guò)了傳統(tǒng)數(shù)據(jù) library軟件工具在獲取、存儲(chǔ)、管理和分析方面的能力?？傊褪谴髷?shù)據(jù)是數(shù)據(jù)多半是為了脫離圖表。數(shù)據(jù)的單位一般以PB為單位。那么PB有多大呢？1GB1024MB，1PB1024GB足以稱得上大數(shù)據(jù)。如圖:計(jì)量單位列表其次，Da 數(shù)據(jù)，有什么特點(diǎn)和結(jié)構(gòu)？

我們處在一個(gè)科技飛速發(fā)展的時(shí)代，現(xiàn)在互聯(lián)網(wǎng)與我們的生活息息相關(guān)。我們每天在網(wǎng)上產(chǎn)生大量的數(shù)據(jù)。這些數(shù)據(jù)散落在網(wǎng)上，看似作用不大，但這些數(shù)據(jù)經(jīng)過(guò)系統(tǒng)加工整合后，確實(shí)很有價(jià)值。1.大開(kāi)發(fā)數(shù)據(jù)技術(shù)可以提高生產(chǎn)力數(shù)據(jù)技術(shù)已經(jīng)成為企業(yè)中非常成功的案例，很多應(yīng)用開(kāi)發(fā)者和大公司都在使用大數(shù)據(jù)技術(shù)擴(kuò)展數(shù)據(jù)項(xiàng)目。

目前很多企業(yè)通過(guò)數(shù)據(jù)挖掘分析來(lái)解決問(wèn)題。相對(duì)而言，大數(shù)據(jù)分析比傳統(tǒng)的數(shù)據(jù)分析速度更快，可以獲得“可回收”的信息流，提高行業(yè)生產(chǎn)率。第二，數(shù)據(jù)技術(shù)的發(fā)展可以改善營(yíng)銷決策。近年來(lái)，數(shù)據(jù)成交量劇增，數(shù)據(jù)利潤(rùn)很可能成為未來(lái)收入的主要來(lái)源，數(shù)據(jù)技術(shù)大量出現(xiàn)。

Da 數(shù)據(jù)技術(shù)是指從各類數(shù)據(jù)中快速獲取有價(jià)值信息的能力。適合大型數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理(MPP) 數(shù)據(jù)庫(kù)、數(shù)據(jù)礦用電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)等。大數(shù)據(jù)有以下四個(gè)特點(diǎn):第一，數(shù)據(jù)巨大。比如人類生產(chǎn)的所有印刷品的量數(shù)據(jù)只有200PB。典型的個(gè)人電腦硬盤(pán)容量在TB量級(jí)，而一些大型企業(yè)的數(shù)據(jù)容量接近EB量級(jí)。

目前數(shù)據(jù)不僅有文字形式，還有圖片、視頻、音頻、地理信息等多種類型。個(gè)性化數(shù)據(jù)占絕對(duì)多數(shù)。第三，處理速度快。數(shù)據(jù)處理遵循“1秒定律”，從各類數(shù)據(jù)中可以快速獲取高價(jià)值信息。第四，價(jià)值密度低。以視頻為例。一個(gè)小時(shí)的視頻在持續(xù)測(cè)試過(guò)程中可能只有一兩秒有用數(shù)據(jù)的。

基礎(chǔ)平臺(tái)變化大數(shù)據(jù)挑戰(zhàn)是企業(yè)的存儲(chǔ)系統(tǒng)。爆炸式增長(zhǎng)使得存儲(chǔ)系統(tǒng)在容量、可擴(kuò)展性和傳輸瓶頸等方面面臨挑戰(zhàn)。與之相連的是服務(wù)器的計(jì)算能力，內(nèi)存的存儲(chǔ)容量等等，這些都面臨著新的技術(shù)問(wèn)題。商業(yè)模式的挑戰(zhàn)是巨大的數(shù)據(jù)具有強(qiáng)大的數(shù)據(jù)價(jià)值。當(dāng)我們可以利用大數(shù)據(jù)挖掘出需要的信息時(shí)，就需要根據(jù)獲得的信息對(duì)企業(yè)的商業(yè)模式、產(chǎn)品和服務(wù)進(jìn)行創(chuàng)新，這樣才能真正做大

【導(dǎo)讀】社會(huì)數(shù)字化的形成還需要一定的時(shí)間。為了達(dá)到我們夢(mèng)想的高度，智能分析應(yīng)該跟上技術(shù)的發(fā)展，更加關(guān)注當(dāng)前數(shù)字化背景下智能分析的特點(diǎn)和所需能力。1.多源大數(shù)據(jù)采集處理能力只有準(zhǔn)確實(shí)時(shí)地采集大量不同結(jié)構(gòu)的原始數(shù)據(jù)，實(shí)現(xiàn)不同結(jié)構(gòu)數(shù)據(jù)的融合和標(biāo)準(zhǔn)化，才能保證大數(shù)據(jù)的智能分析的來(lái)源。

3.預(yù)測(cè)分析能力數(shù)據(jù)挖掘算法使數(shù)據(jù)分析更容易理解數(shù)據(jù)。通過(guò)建模來(lái)判斷數(shù)據(jù)挖掘結(jié)果的可預(yù)測(cè)性尤為重要?？梢哉f(shuō)，預(yù)測(cè)分析能力是智能分析的精髓。4.數(shù)據(jù)質(zhì)量管理能力通過(guò)對(duì)不同平臺(tái)、不同結(jié)構(gòu)、不同類型進(jìn)行有效的智能管理和實(shí)踐，構(gòu)建合理的不同類型數(shù)據(jù)庫(kù)是關(guān)鍵。

如果有編程集的話，這個(gè)最好，會(huì)節(jié)省很多學(xué)習(xí)時(shí)間，也更容易理解。因?yàn)榇髷?shù)據(jù)環(huán)境比較復(fù)雜，不像學(xué)習(xí)編程軟件，安裝機(jī)器，跟老師打幾行代碼就夠了，但是大數(shù)據(jù)環(huán)境就麻煩多了。至少要準(zhǔn)備好虛擬化的集群環(huán)境，然后安裝部署各種會(huì)計(jì)架構(gòu)，所以要有耐心，要有解決問(wèn)題的能力。我推薦的學(xué)習(xí)流程是:夯實(shí)基礎(chǔ)，以理解為主。

以后會(huì)繼續(xù)學(xué)習(xí)spark、python、storm、云會(huì)計(jì)等相關(guān)課程，逐漸在腦海中形成常識(shí)體系，對(duì)Da 數(shù)據(jù)的理解也會(huì)越來(lái)越透徹。首先是基礎(chǔ)知識(shí)的介紹，Da 數(shù)據(jù)所涵蓋的常識(shí)涵蓋了廣泛的技能。我是根據(jù)自己多年的工作經(jīng)驗(yàn)和收集的課程做的設(shè)置，基礎(chǔ)進(jìn)階，側(cè)重Java語(yǔ)言學(xué)，其次是Linux和統(tǒng)計(jì)學(xué)的學(xué)習(xí)。