什么是大數(shù)據(jù)？在很多人眼里，大數(shù)據(jù)可能是一個很模糊的概念，但是在日常生活中，大數(shù)據(jù)離我們很近，我們不再時時刻刻享受著大數(shù)據(jù)帶來的便利、個性化和人性化。要全面理解大數(shù)據(jù)，應(yīng)該簡單地從四個方面來理解。定義，結(jié)構(gòu)特征，我們身邊有什么大數(shù)據(jù)，大數(shù)據(jù)帶來了什么，這四個方面都懂了。那么到底什么是“大數(shù)據(jù)”呢？麥肯錫全球研究所給出的定義中指出，大數(shù)據(jù)是一種數(shù)據(jù)集合，其規(guī)模之大，大大超過了傳統(tǒng)數(shù)據(jù)庫軟件工具在獲取、存儲、管理和分析方面的能力。

大數(shù)據(jù)的單位一般以PB來衡量。那么PB有多大呢？1GB1024MB，1PB1024GB足以稱得上大數(shù)據(jù)。如圖:計量單位列表其次，大數(shù)據(jù)的特點和結(jié)構(gòu)是什么？大數(shù)據(jù)整體分為四個特征。第一，數(shù)量大。計量單位是PB級，存儲內(nèi)容很多。第二，高速。大數(shù)據(jù)在獲取速度和分析速度上需要及時快速。保證短時間內(nèi)有更多的人收到信息。

大數(shù)據(jù)是指在一定時間范圍內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)(Bigdata)是指在一定時間內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。它是一種海量、高增長、多元化的信息資產(chǎn)，需要新的處理模式來擁有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力。大數(shù)據(jù)和云計算的關(guān)系就像硬幣的正反面一樣密不可分。大數(shù)據(jù)不能由單臺計算機(jī)處理，必須采用分布式計算架構(gòu)。

你可以這樣理解他們之間的關(guān)系。云計算技術(shù)是一個容器，大數(shù)據(jù)就是這個容器里儲存的水。大數(shù)據(jù)依靠云計算技術(shù)進(jìn)行存儲和計算。請點擊輸入圖片描述延伸數(shù)據(jù):大數(shù)據(jù)的4V特征:體量(大數(shù)量)、速度(高速度)、種類(品種)、價值(價值)。

全樣本而不是采樣。谷歌建立了流感趨勢(GFT)模型，并使用該模型和實時搜索提前九周預(yù)測流感相關(guān)的醫(yī)療就診人數(shù)。谷歌的流感趨勢預(yù)測使用的是整個樣本，而不是對這個大數(shù)據(jù)進(jìn)行采樣。大數(shù)據(jù)是指那些數(shù)據(jù)量極大、數(shù)據(jù)類別復(fù)雜的數(shù)據(jù)集。這個數(shù)據(jù)集是傳統(tǒng)數(shù)據(jù)庫無法轉(zhuǎn)移、管理和處理的，是海量、高毛利、多元化的信息資產(chǎn)，需要新的處理模式來擁有更強(qiáng)的決策力、洞察力和發(fā)現(xiàn)力以及流程優(yōu)化能力。

大數(shù)據(jù)時代已經(jīng)到來。什么是大數(shù)據(jù)時代？你明白嗎？什么是大數(shù)據(jù)？一、大數(shù)據(jù)出現(xiàn)的背景2012年，大數(shù)據(jù)這個詞被越來越多的提及。人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名相關(guān)的技術(shù)發(fā)展和創(chuàng)新。它曾登上《紐約時報》華爾街日報專欄的封面，進(jìn)入白宮官網(wǎng)的新聞，出現(xiàn)在國內(nèi)一些互聯(lián)網(wǎng)主題的講座沙龍，甚至被嗅覺敏銳的證券公司寫進(jìn)投資推薦報告。

大數(shù)據(jù)時代對人類的數(shù)據(jù)控制能力提出了新的挑戰(zhàn)，也為人們獲得更深入、更全面的洞察提供了前所未有的空間和潛力。最早提出大數(shù)據(jù)時代到來的是全球知名咨詢公司麥肯錫。麥肯錫表示:“數(shù)據(jù)已經(jīng)滲透到當(dāng)今每個行業(yè)和商業(yè)功能領(lǐng)域，成為重要的生產(chǎn)要素。人們對海量數(shù)據(jù)的挖掘和應(yīng)用，預(yù)示著新一波生產(chǎn)力增長和消費者剩余的到來。

大數(shù)據(jù)開發(fā):簡單來說，就是用工具實現(xiàn)大數(shù)據(jù)分析后需要得到的結(jié)果。簡單理解，大數(shù)據(jù)開發(fā)就是制造軟件，但只和大數(shù)據(jù)有關(guān)。通常用的是大數(shù)據(jù)相關(guān)的開發(fā)工具，環(huán)境等等。大數(shù)據(jù)分析:簡而言之，就是通過算法搜索，從海量數(shù)據(jù)中找出隱藏的信息數(shù)據(jù)，然后對收集到的大量信息數(shù)據(jù)進(jìn)行詳細(xì)的研究和總結(jié)，推斷其趨勢或結(jié)果，從而做出判斷并采取適當(dāng)行動的過程。

大數(shù)據(jù)可以概括為四個V，數(shù)據(jù)量大，速度快，種類多，價值大。大數(shù)據(jù)發(fā)展其實有兩種，第一種是寫一些Hadoop和Spark的應(yīng)用，第二種是自己開發(fā)大數(shù)據(jù)處理系統(tǒng)。第一種工作感覺更適合dataanalyst這個職位，現(xiàn)在HiveSparkSQL也提供SQL接口。