不難。一般來說，有23年工作經(jīng)驗的Hadoop人才，年薪可以達(dá)到2030萬。并且學(xué)好大數(shù)據(jù)。一般來說，你會在哪里工作？小公司會是你的地方嗎？當(dāng)然不是。大數(shù)據(jù)技術(shù)人才一般都在大公司，比如天貓、JD.COM。很多人都想成為大數(shù)據(jù)技術(shù)人才，那么學(xué)習(xí)大數(shù)據(jù)需要具備哪些基本能力呢？你知道多少？接下來，讓我們和北大青鳥邊肖一起詳細(xì)了解一下。也歡迎大家補(bǔ)充。

誰最早提出大數(shù)據(jù)技術(shù)的基礎(chǔ)？現(xiàn)在的大數(shù)據(jù)技術(shù)的基礎(chǔ)最早是由“谷歌”提出的。大數(shù)據(jù)(Bigdata)，IT行業(yè)術(shù)語，指在一定時間范圍內(nèi)，常規(guī)軟件工具無法捕捉、管理和處理的數(shù)據(jù)集合。它是一種海量、高增長、多元化的信息資產(chǎn)，需要一種新的處理模式來擁有更強(qiáng)的決策力、洞察和發(fā)現(xiàn)能力以及流程優(yōu)化能力。在維克多·邁耶、勛伯格和肯尼斯·庫克耶合著的《大數(shù)據(jù)時代》中，大數(shù)據(jù)是指所有的數(shù)據(jù)都用于分析和處理，而沒有隨機(jī)分析(抽樣調(diào)查)的捷徑。

數(shù)據(jù)科學(xué)沒有獨(dú)立的學(xué)科體系，如統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)庫、分布式計算、云計算、信息可視化等處理數(shù)據(jù)的技術(shù)或方法。但從狹義上講，我認(rèn)為數(shù)據(jù)科學(xué)是要解決三個問題:1。原始數(shù)據(jù)必須經(jīng)過采集、提取、清洗、整理等一系列預(yù)處理過程，才能形成高質(zhì)量的數(shù)據(jù)；2.我們想看看數(shù)據(jù)是什么樣子的，有什么特點(diǎn)和規(guī)律；3.根據(jù)自己的需求，比如對數(shù)據(jù)進(jìn)行標(biāo)注和分類，或者進(jìn)行預(yù)測，或者從大量復(fù)雜的數(shù)據(jù)中提取有價值的、難以發(fā)現(xiàn)的信息，就必須對數(shù)據(jù)進(jìn)行建模，得到輸出。

看你做什么大數(shù)據(jù)工作。如果是統(tǒng)籌規(guī)劃(比如數(shù)據(jù)建模(分析))，那么數(shù)學(xué)技能肯定是有的，不然怎么做建模和分析。如果是一種數(shù)據(jù)篩選，那么邏輯學(xué)和社會學(xué)一定要有基礎(chǔ)，不一定精通，但是基礎(chǔ)一定要有。大數(shù)據(jù)的數(shù)據(jù)本身是沒有意義的，需要從大數(shù)據(jù)中提取出想要的數(shù)據(jù)，所以如果邏輯學(xué)和社會學(xué)失效或者不扎實，那么這部分?jǐn)?shù)據(jù)可能與需要的數(shù)據(jù)相關(guān)，但可能沒有被注意到，但也可能與需要的數(shù)據(jù)無關(guān)，卻被放了進(jìn)去(等于增加了無用功)，這不是一個好現(xiàn)象。

如果是具體操作，比如數(shù)據(jù)可視化，那就沒什么好說的了。編程能力和理解能力都是大頭。還有數(shù)據(jù)治理等等(這是數(shù)據(jù)倉庫的概念，也可以放入大數(shù)據(jù))。數(shù)據(jù)的敏感其實和數(shù)學(xué)有關(guān)，邏輯社會學(xué)其實和數(shù)據(jù)有關(guān)，編程也和數(shù)學(xué)有關(guān)，所以我覺得大數(shù)據(jù)的基礎(chǔ)需要數(shù)學(xué)。當(dāng)然，立場(或立場)的基礎(chǔ)是不一樣的。如果只是操作的話，會更簡單。如果往上走，數(shù)學(xué)基礎(chǔ)會更扎實。

1、數(shù)據(jù)收集:用數(shù)據(jù)找源頭。2.數(shù)據(jù)分析:用數(shù)據(jù)講故事，對收集的大量數(shù)據(jù)進(jìn)行分析，提取有用信息并形成結(jié)論，對數(shù)據(jù)進(jìn)行詳細(xì)研究和總結(jié)的過程。這個過程也是質(zhì)量管理體系的支持過程。在實踐中，數(shù)據(jù)分析可以幫助人們做出判斷，以便采取適當(dāng)?shù)男袆印?.交互設(shè)計:用經(jīng)驗告訴數(shù)據(jù)，這是定義和設(shè)計人工系統(tǒng)行為的設(shè)計領(lǐng)域。它定義了兩個或兩個以上的交互個體之間交流的內(nèi)容和結(jié)構(gòu)，使他們能夠相互合作，共同實現(xiàn)某個目標(biāo)。

1、可視化分析大數(shù)據(jù)分析的用戶包括大數(shù)據(jù)分析專家和普通用戶，但是他們對于大數(shù)據(jù)分析最基本的要求是可視化分析，因為可視化分析可以直觀的呈現(xiàn)大數(shù)據(jù)的特點(diǎn)，同時也容易被讀者接受，就像看圖說話一樣。2.數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心是數(shù)據(jù)挖掘算法。各種數(shù)據(jù)挖掘算法可以基于不同的數(shù)據(jù)類型和格式更科學(xué)地呈現(xiàn)數(shù)據(jù)本身的特征，也正是因為這些被全世界統(tǒng)計學(xué)家認(rèn)可的各種各樣的統(tǒng)計方法(可以稱之為真理)，才能深入數(shù)據(jù)，挖掘出公認(rèn)的價值。

3.預(yù)測分析能力大數(shù)據(jù)分析的最終應(yīng)用領(lǐng)域之一是預(yù)測分析，從大數(shù)據(jù)中挖掘出特征，科學(xué)地建立模型，然后通過模型帶入新的數(shù)據(jù)，預(yù)測未來的數(shù)據(jù)。4.語義引擎大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可以從用戶的搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞，或者其他輸入語義，分析判斷用戶的需求，從而達(dá)到更好的用戶體驗和廣告匹配。

大數(shù)據(jù)分析的基礎(chǔ)就是以上五個方面。當(dāng)然，如果深入到大數(shù)據(jù)分析，還有很多更有特色、更深入、更專業(yè)的大數(shù)據(jù)分析方法。可視化分析可視化分析可以直觀的呈現(xiàn)大數(shù)據(jù)的特點(diǎn)，同時也容易被讀者接受，就像看圖說話一樣簡單。數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘算法可以基于不同的數(shù)據(jù)類型和格式，更科學(xué)地呈現(xiàn)數(shù)據(jù)本身的特征。

語義引擎大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘，可以從用戶的搜索關(guān)鍵詞、標(biāo)簽關(guān)鍵詞或其他輸入語義來分析判斷用戶的需求，從而達(dá)到更好的用戶體驗和廣告匹配。數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，無論是學(xué)術(shù)研究還是商業(yè)應(yīng)用，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理都可以保證分析結(jié)果的真實性和價值。