1學(xué)歷，就BAT三大互聯(lián)網(wǎng)公司而言，對(duì)大數(shù)據(jù)工程師的要求都是統(tǒng)計(jì)學(xué)和數(shù)學(xué)的碩士或博士學(xué)歷。缺乏理論背景的數(shù)據(jù)工作者更有可能進(jìn)入技能的危險(xiǎn)地帶。他們總能根據(jù)不同的數(shù)據(jù)模型和算法得出一些結(jié)果，但如果你不知道它代表了什么，那就不是真正有意義的，這樣的結(jié)果很容易誤導(dǎo)你。

2.計(jì)算機(jī)編碼能力、實(shí)際開發(fā)能力、大規(guī)模數(shù)據(jù)處理能力是作為一名大數(shù)據(jù)工程師必備的一些要素。因?yàn)楹芏鄶?shù)據(jù)的價(jià)值都來自于挖掘的過程，你得親自動(dòng)手才能發(fā)現(xiàn)黃金的價(jià)值。3.對(duì)于具體應(yīng)用領(lǐng)域或行業(yè)的知識(shí)，大數(shù)據(jù)工程師這個(gè)角色很重要的一點(diǎn)就是不能脫離市場(chǎng)，因?yàn)榇髷?shù)據(jù)只有與具體領(lǐng)域的應(yīng)用相結(jié)合才能產(chǎn)生價(jià)值。因此，在一個(gè)或多個(gè)垂直行業(yè)的經(jīng)歷可以為應(yīng)聘者積累行業(yè)的知識(shí)，對(duì)以后成為大數(shù)據(jù)工程師很有幫助，所以這也是應(yīng)聘這個(gè)職位時(shí)比較有說服力的加分項(xiàng)。

數(shù)據(jù)挖掘的定義是:通過算法從大量數(shù)據(jù)中尋找隱藏信息的過程。也就是說，將數(shù)據(jù)加工成有用信息的第一步(收據(jù)采集除外)就是數(shù)據(jù)挖掘，這是數(shù)據(jù)再加工的前提。沒有數(shù)據(jù)挖掘，就沒有所謂的數(shù)據(jù)分析等等，因?yàn)槟愀緵]有從大量的數(shù)據(jù)中找到隱藏域中“有用”的信息。比如電視劇《在一起》中，有一集是關(guān)于曲調(diào)的，一個(gè)人能準(zhǔn)確地說出老太太和另一個(gè)人同時(shí)出現(xiàn)在某個(gè)地方。這就是數(shù)據(jù)挖掘。

什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘，也稱為知識(shí)發(fā)現(xiàn)數(shù)據(jù)庫(KDD)，是從大量數(shù)據(jù)中獲取有效、新穎、潛在有用且最終可理解的模式的非凡過程。簡單來說，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。并非所有的信息發(fā)現(xiàn)任務(wù)都被視為數(shù)據(jù)挖掘。例如，在信息檢索領(lǐng)域中，通過使用數(shù)據(jù)庫管理系統(tǒng)來查找單個(gè)記錄，或者通過因特網(wǎng)上的搜索引擎來查找特定的網(wǎng)頁是一項(xiàng)任務(wù)。

然而，數(shù)據(jù)挖掘技術(shù)也被用來增強(qiáng)信息檢索系統(tǒng)的能力?；貧w是數(shù)據(jù)挖掘的核心算法之一，它是一個(gè)廣義的概念，包含了用一組變量來預(yù)測(cè)另一個(gè)變量的基本概念。在白話文里，是根據(jù)幾件事的關(guān)聯(lián)度，用其中的幾件來預(yù)測(cè)另一件事發(fā)生的概率。最簡單的就是線性二元問題(即簡單線性)。比如我老婆下午買了個(gè)包，我沒買，結(jié)果就是我肯定沒吃晚飯。稍微復(fù)雜一點(diǎn)的是多變量(即多變量線性)。這里有一點(diǎn)需要注意，因?yàn)槲抑胺高^這個(gè)錯(cuò)誤，就是認(rèn)為預(yù)測(cè)的變量越多越好。做模型時(shí)總想選取幾十個(gè)指標(biāo)來預(yù)測(cè)，但你知道，一方面，每增加一個(gè)變量，就相當(dāng)于增加了這個(gè)變量中的誤差，變相放大了整體誤差，尤其是自變量選取不當(dāng)?shù)臅r(shí)候。另一方面，當(dāng)兩個(gè)自變量高度相關(guān)但不獨(dú)立時(shí)，兩個(gè)指標(biāo)相當(dāng)于對(duì)結(jié)果的影響增加了一倍。)還是上面的例子，如果婆婆來了，那么老婆做飯的概率很大；如果再出事，如果我公公也來，那我老婆肯定會(huì)做飯；為什么會(huì)有這些判斷？因?yàn)檫@些以前發(fā)生過很多次，所以我可以根據(jù)這些東西預(yù)測(cè)老婆會(huì)不會(huì)做晚飯。

一個(gè)晚上整理出來的數(shù)據(jù)挖掘算法，主要引用自wiki和一些論壇。我把它發(fā)布在網(wǎng)上作為知識(shí)分享，但是我發(fā)現(xiàn)Latex的公式在轉(zhuǎn)碼到網(wǎng)頁時(shí)丟失了。暫時(shí)還沒找到解決的辦法，有時(shí)間就回來補(bǔ)洞。編者按1。C4.5C4.5算法是RossQuinlan開發(fā)的生成決策樹的算法。數(shù)據(jù)挖掘|數(shù)據(jù)理解與預(yù)處理邊肖見過很多人(咳咳，請(qǐng)不要對(duì)號(hào)入座)。拿到數(shù)據(jù)后，不管不管三七二十一，扔進(jìn)模型里運(yùn)行，不管是什么。反正“大數(shù)據(jù)”總能產(chǎn)生點(diǎn)什么。但我上次說過，“大數(shù)據(jù)”很可能帶來“大錯(cuò)誤”！因此，在數(shù)據(jù)挖掘開始之前，仔細(xì)理解和檢查數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理是非常重要的。很多人說，資料準(zhǔn)備真的是一項(xiàng)“體力活”，費(fèi)時(shí)費(fèi)力，也極其枯燥。

但是，它總能引發(fā)你的興奮，因?yàn)檫@需要足夠的耐心和細(xì)心，一不小心，你所有的努力都白費(fèi)了。在這一內(nèi)容中，邊肖將首先從數(shù)據(jù)理解、變量類型、質(zhì)量檢驗(yàn)三個(gè)方面進(jìn)行闡述，然后用他做過的一個(gè)實(shí)際數(shù)據(jù)來展示。一、數(shù)據(jù)理解拿到數(shù)據(jù)后要做的第一步就是理解數(shù)據(jù)。什么是理解數(shù)據(jù)？不要簡單的看Excel表格有多少，有多少行，有多少列，要結(jié)合自己的分析目標(biāo)和具體的業(yè)務(wù)需求來看。

分析方法:分類、估計(jì)、預(yù)測(cè)、親和分組或關(guān)聯(lián)規(guī)則、聚類、復(fù)雜數(shù)據(jù)類型的挖掘(文本、Web、圖形圖像、視頻、音頻介紹等。)方法:分類首先從數(shù)據(jù)中選取已經(jīng)分類的訓(xùn)練集，在這個(gè)訓(xùn)練集上，利用數(shù)據(jù)挖掘分類的技術(shù)建立分類模型，對(duì)未分類的數(shù)據(jù)進(jìn)行分類。