從谷歌流感趨勢(shì)談Big -1的榮耀與陷阱。本文從2009年前后Google flu trend的表現(xiàn)差異入手，探討了Big 數(shù)據(jù)分析容易面臨的大數(shù)據(jù)傲慢、算法進(jìn)化、隱形動(dòng)機(jī)導(dǎo)致數(shù)據(jù)生成機(jī)制改變等陷阱，以及對(duì)中國(guó)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的借鑒意義。本文認(rèn)為，中國(guó)要健康發(fā)展大數(shù)據(jù)產(chǎn)業(yè)，需要防范大數(shù)據(jù)傲慢風(fēng)險(xiǎn)，促進(jìn)大數(shù)據(jù)產(chǎn)業(yè)和小數(shù)據(jù)產(chǎn)業(yè)齊頭并進(jìn)，并加大力度提高透明度，審慎評(píng)估大數(shù)據(jù)質(zhì)量。

“GoogleFluTrends (GFT)”的故事通常被認(rèn)為是數(shù)據(jù)分析的優(yōu)勢(shì)的證明。2008年11月，谷歌啟動(dòng)了GFT項(xiàng)目，其目標(biāo)是預(yù)測(cè)美國(guó)CDC報(bào)告的流感發(fā)病率。它一出現(xiàn)，GFT就展示了一份非常驚人的成績(jī)單。2009年，GFT團(tuán)隊(duì)在《自然》雜志上發(fā)表了一份報(bào)告。通過(guò)分析數(shù)十億次搜索中的45個(gè)流感相關(guān)關(guān)鍵詞，GFT可以比疾控中心提前兩周預(yù)測(cè)2007-2008年的流感發(fā)病率。

large 數(shù)據(jù)分析是一個(gè)廣義的術(shù)語(yǔ)，指的是數(shù)據(jù)集，這些數(shù)據(jù)集龐大而復(fù)雜，需要專門設(shè)計(jì)的硬件和軟件工具來(lái)處理。這個(gè)數(shù)據(jù)集的大小通常是萬(wàn)億或EB。這些數(shù)據(jù)集是從各種來(lái)源收集的:傳感器、氣候信息、公共信息，如雜志、報(bào)紙和文章。Da 數(shù)據(jù)分析產(chǎn)生的其他例子包括購(gòu)買交易記錄、網(wǎng)絡(luò)日志、醫(yī)療記錄、軍事監(jiān)視、視頻和圖像文件以及大規(guī)模電子商務(wù)。大數(shù)據(jù)分析，他們對(duì)企業(yè)的影響力有很高的興趣。

1.Hadoop是一個(gè)開(kāi)源框架，它允許整個(gè)集群使用簡(jiǎn)單的編程模型計(jì)算機(jī)在分布式環(huán)境中存儲(chǔ)和處理大數(shù)據(jù)。它的目的是從單個(gè)服務(wù)器擴(kuò)展到數(shù)千臺(tái)機(jī)器，每臺(tái)機(jī)器都可以提供本地計(jì)算和存儲(chǔ)。Hadoop是一個(gè)可以分發(fā)大量數(shù)據(jù)的軟件框架。但是Hadoop是以一種可靠、高效和可擴(kuò)展的方式處理的。Hadoop是可靠的。即使計(jì)算元件和存儲(chǔ)發(fā)生故障，它也會(huì)維護(hù)工作數(shù)據(jù)的多個(gè)副本，以確?？梢詾楣收瞎?jié)點(diǎn)重新分配處理。

這個(gè)世界包含了難以想象的數(shù)字信息量，而且越來(lái)越快。從商業(yè)到科學(xué)，從政府到藝術(shù)，這種影響無(wú)處不在，科學(xué)家和計(jì)算機(jī)工程師為這種現(xiàn)象創(chuàng)造了一個(gè)新術(shù)語(yǔ):“大數(shù)據(jù)”。大數(shù)據(jù)時(shí)代意味著什么？大數(shù)據(jù)的概念是什么意思？大數(shù)據(jù)分析什么意思？所謂大數(shù)據(jù)，什么是大數(shù)據(jù)，它的來(lái)源在哪里，它的定義是什么？一:大數(shù)據(jù)的定義，1.大數(shù)據(jù)(Big data)又稱巨量數(shù)據(jù)，是指涉及的數(shù)據(jù)量巨大到無(wú)法通過(guò)人腦甚至主流軟件工具捕捉、管理、處理、整理成更為積極的目的來(lái)幫助企業(yè)在合理的時(shí)間內(nèi)做出商業(yè)決策的信息。