作者|張建鋒從2008年開(kāi)始工作到現(xiàn)在已經(jīng)11年了。一路跟數(shù)據(jù)打交道，做過(guò)大數(shù)據(jù)底層框架內(nèi)核開(kāi)發(fā)(Hadoop、Pig、Tez、Spark、Livy)和大數(shù)據(jù)上層應(yīng)用開(kāi)發(fā)(寫(xiě)MapReduceJob做ETL，Hive做Adhocquery，Tableau做數(shù)據(jù)可視化。今天，我想借此機(jī)會(huì)和大家談?wù)勎宜斫獾拇髷?shù)據(jù)的現(xiàn)狀和未來(lái)。

大數(shù)據(jù)這個(gè)概念已經(jīng)有很多年了(10多年)，但是一直沒(méi)有一個(gè)準(zhǔn)確的定義(可能不需要)。DataEngineer對(duì)大數(shù)據(jù)的理解會(huì)更多從技術(shù)和系統(tǒng)的角度出發(fā)，而DataAnalyst對(duì)大數(shù)據(jù)的理解會(huì)從產(chǎn)品的角度出發(fā)，所以DataEngineer和DataAnalyst對(duì)大數(shù)據(jù)的理解肯定是不一樣的。

1。前兩天打開(kāi)網(wǎng)易云音樂(lè)。本來(lái)想聽(tīng)音樂(lè)緩解年底莫名的郁悶，但是2020年聽(tīng)歌的“賬單”彈出來(lái)了，提醒我2020年真的要過(guò)去了，不管我是懷舊還是反感。在學(xué)校寫(xiě)經(jīng)驗(yàn)總結(jié)，在工作中寫(xiě)工作總結(jié)，向自己述職，向單位匯報(bào)，無(wú)論哪一項(xiàng)，似乎都或多或少不愿意自己寫(xiě)，更像是一項(xiàng)不得不完成的常規(guī)工作。更重要的是，很多人發(fā)現(xiàn)這一刻無(wú)法總結(jié)。

更不要說(shuō)清楚的知道自己失去了什么，得到了什么，幾何成長(zhǎng)了多少。如果你有這種感覺(jué)，不要害怕孤獨(dú)。相信我，這是大多數(shù)人的心情。大數(shù)據(jù)時(shí)代，手機(jī)成了一個(gè)特殊的“器官”?，F(xiàn)在各種手機(jī)app都用大數(shù)據(jù)總結(jié)了你的2020，幫你回顧這一年的點(diǎn)點(diǎn)滴滴。我們可以從中吸取教訓(xùn)。今年你是怎么過(guò)來(lái)的？娛樂(lè)類(lèi)app的感性年度總結(jié)或多或少告訴你，這一年你的心態(tài)發(fā)生了變化。

文|曾玲來(lái)源|科技翔靈說(shuō)(xiangling0815)在新一輪基礎(chǔ)設(shè)施浪潮下，作為底層支撐力量的數(shù)據(jù)和計(jì)算變得越來(lái)越重要。近日，由中國(guó)大數(shù)據(jù)與智能計(jì)算產(chǎn)業(yè)聯(lián)盟主辦，以“新計(jì)算力、新基礎(chǔ)設(shè)施、新經(jīng)濟(jì)”為主題的第二屆中國(guó)超算大會(huì)ChinaSC在北京舉行。國(guó)內(nèi)外院士、知名學(xué)者、工業(yè)大咖等600余人參與其中，共同探討超級(jí)計(jì)算、新型基礎(chǔ)設(shè)施、云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等前沿技術(shù)的進(jìn)展。

對(duì)于大數(shù)據(jù)的定義，從不同的角度有不同的定義:研究機(jī)構(gòu)Gartner對(duì)大數(shù)據(jù)的定義:“大數(shù)據(jù)”的研究機(jī)構(gòu)Gartner給出了這樣的定義?！按髷?shù)據(jù)”是一種信息資產(chǎn)，需要新的處理模式來(lái)?yè)碛懈鼜?qiáng)的決策、洞察和流程優(yōu)化能力，以適應(yīng)海量、高增長(zhǎng)率和多樣化。麥肯錫對(duì)大數(shù)據(jù)的定義:麥肯錫全球研究院給出的定義是:在獲取、存儲(chǔ)、管理、分析等方面規(guī)模遠(yuǎn)遠(yuǎn)超出傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力的數(shù)據(jù)集，具有數(shù)據(jù)規(guī)模海量、數(shù)據(jù)流動(dòng)迅速、數(shù)據(jù)類(lèi)型多樣、價(jià)值密度低等四大特征。

1，社會(huì)安全問(wèn)題，2，個(gè)人隱私，3，對(duì)國(guó)家經(jīng)濟(jì)的威脅，4，國(guó)家安全利益，5，秘密保護(hù)。大數(shù)據(jù)帶來(lái)的弊端1。社保問(wèn)題中國(guó)網(wǎng)民數(shù)量接近6億，每時(shí)每刻都有大量數(shù)據(jù)產(chǎn)生和消費(fèi)。網(wǎng)絡(luò)的放大效應(yīng)、傳播速度和動(dòng)員能力越來(lái)越大，各種社會(huì)矛盾疊加，導(dǎo)致社會(huì)群體性事件頻發(fā)。2.人們可以使用的個(gè)人隱私信息技術(shù)工具無(wú)處不在，關(guān)于個(gè)人的各種信息也無(wú)處不在。

哈佛大學(xué)最近發(fā)布的一份研究報(bào)告顯示，只要有一個(gè)人的年齡、性別和郵編，就可以從公開(kāi)數(shù)據(jù)中搜索到這個(gè)人大約87%的個(gè)人信息。3.對(duì)國(guó)民經(jīng)濟(jì)的威脅是，智能交通和智能電網(wǎng)的國(guó)民經(jīng)濟(jì)運(yùn)行和智能社會(huì)的發(fā)展高度依賴(lài)于信息基礎(chǔ)設(shè)施，這些重要的信息基礎(chǔ)設(shè)施和網(wǎng)絡(luò)智能化程度越高，安全性就越脆弱。4.國(guó)家安全利益網(wǎng)絡(luò)空間信息安全，問(wèn)題的嚴(yán)重性和緊迫性在很大程度上已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)其他傳統(tǒng)安全，當(dāng)今主權(quán)國(guó)家面臨的所有非傳統(tǒng)安全威脅，總是面臨著滄海一粟的困境，政府要找的那根針，往往沉在茫茫大海里。