我們?cè)谧鰯?shù)據(jù)挖掘或者學(xué)習(xí)數(shù)據(jù)挖掘課程的時(shí)候，需要注意很多東西。本文將從數(shù)據(jù)轉(zhuǎn)換成文本、數(shù)據(jù)打包、樸素貝葉斯算法、聚類分析模型四個(gè)方面來闡述需要注意的點(diǎn)。希望這篇文章能幫助到大家。1.數(shù)字轉(zhuǎn)換文本當(dāng)我們將數(shù)字轉(zhuǎn)換為文本時(shí)，我們通常會(huì)進(jìn)行編碼以簡(jiǎn)化數(shù)據(jù)輸入或節(jié)省數(shù)據(jù)庫中的存儲(chǔ)空間，但這種編碼可能會(huì)導(dǎo)致值的性質(zhì)和意義不明確。

為了避免這種問題，在開始數(shù)據(jù)挖掘之前，應(yīng)該將數(shù)字標(biāo)簽轉(zhuǎn)換回離散文本標(biāo)簽。2.數(shù)字裝箱在裝箱數(shù)字的時(shí)候，原則上所有的值都是無限的，因此是連續(xù)的，但是當(dāng)我們對(duì)信息進(jìn)行建模的時(shí)候，我們可能會(huì)發(fā)現(xiàn)對(duì)可用的值進(jìn)行離散化或者裝箱可能會(huì)更有效。我們可以用多種方式將數(shù)據(jù)打包。第一種方法是指定有限數(shù)量的桶，并讓算法對(duì)桶中的值進(jìn)行排序。

第一，客觀規(guī)律。數(shù)據(jù)挖掘是一個(gè)業(yè)務(wù)過程，它必須有業(yè)務(wù)目標(biāo)。沒有目的，沒有過程。第二，知識(shí)規(guī)律。業(yè)務(wù)知識(shí)貫穿于這個(gè)業(yè)務(wù)流程的每一個(gè)環(huán)節(jié)。第三，備考規(guī)律。數(shù)據(jù)采集、數(shù)據(jù)準(zhǔn)備等數(shù)據(jù)處理占據(jù)了整個(gè)挖掘過程的半壁江山。第四，NFL法。NFL，沒有免費(fèi)的午餐。沒有適用于所有業(yè)務(wù)問題的固定算法，只有通過經(jīng)驗(yàn)才能找到適合特定應(yīng)用的模型。第五，大衛(wèi)定律。

大衛(wèi)？Walkins首先提出，因此得名。第六，頓悟法則。數(shù)據(jù)挖掘的本質(zhì)是增強(qiáng)商業(yè)領(lǐng)域的知識(shí)。第七，預(yù)測(cè)定律。數(shù)據(jù)挖掘是基于過去獲得的模式，推廣到類似的新事物，這就是預(yù)測(cè)，但這是一個(gè)統(tǒng)計(jì)學(xué)概念。第八，價(jià)值規(guī)律。挖掘模型的最終價(jià)值不是模型的準(zhǔn)確性或穩(wěn)定性，而是通過新的見解推動(dòng)業(yè)務(wù)行動(dòng)或?qū)е聭?zhàn)略改進(jìn)。第九，變化規(guī)律。人們不會(huì)兩次踏入同一條河流。業(yè)務(wù)在變，目標(biāo)在變，認(rèn)識(shí)在變，甚至法律本身也在變，所以挖掘模式也要與時(shí)俱進(jìn)。

在學(xué)習(xí)數(shù)據(jù)挖掘之前，你要了解以下幾點(diǎn):數(shù)據(jù)挖掘目前在中國并不流行，就像屠龍一樣。初始數(shù)據(jù)準(zhǔn)備通常占整個(gè)數(shù)據(jù)挖掘項(xiàng)目工作量的70%左右。數(shù)據(jù)挖掘本身結(jié)合了統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫和機(jī)器學(xué)習(xí)，并不是什么新技術(shù)。數(shù)據(jù)挖掘技術(shù)更適合業(yè)務(wù)人員學(xué)習(xí)(比技術(shù)人員學(xué)習(xí)業(yè)務(wù)效率更高)。數(shù)據(jù)挖掘適用于傳統(tǒng)商業(yè)智能(報(bào)表、OLAP等)領(lǐng)域。)無法支持。

如果你覺得以上內(nèi)容可以接受，那就繼續(xù)看下去。學(xué)習(xí)一門技術(shù)要貼近行業(yè)，沒有行業(yè)背景的技術(shù)就像空中樓閣。技術(shù)的發(fā)展，尤其是計(jì)算機(jī)領(lǐng)域的發(fā)展，廣闊而迅速(十年前設(shè)計(jì)網(wǎng)頁就可以成立公司)，大多數(shù)人沒有精力和時(shí)間去全面掌握所有的技術(shù)細(xì)節(jié)。但是，技術(shù)與行業(yè)結(jié)合后，可以獨(dú)立。一方面有利于抓住用戶的痛點(diǎn)和剛性需求。另一方面可以積累行業(yè)經(jīng)驗(yàn)，用互聯(lián)網(wǎng)思維跨界讓你更容易成功。

Pea DM可視化數(shù)據(jù)挖掘平臺(tái)深入洞察企業(yè)數(shù)據(jù)規(guī)律，充分挖掘數(shù)據(jù)的潛在價(jià)值。90年代末發(fā)展起來的跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程(CRISPDM)是我們做數(shù)據(jù)挖掘的有效指南。第一，是業(yè)務(wù)理解。在我看來，這種商業(yè)理解就是把商業(yè)問題變成數(shù)據(jù)挖掘問題。目前，數(shù)據(jù)挖掘的理論概念一般包括分類、聚類、回歸和關(guān)聯(lián)。

第二，數(shù)據(jù)理解，數(shù)據(jù)描述我們的業(yè)務(wù)。這一步，一定要搞清楚對(duì)應(yīng)關(guān)系，面臨的業(yè)務(wù)問題，有哪些數(shù)據(jù)可以利用。我們做定量分析。沒有數(shù)據(jù)，我們顯然無法得到模型。了解數(shù)據(jù)與業(yè)務(wù)密切相關(guān)的地方，也可以讓我們的分析事半功倍。第三，數(shù)據(jù)準(zhǔn)備，其實(shí)數(shù)據(jù)挖掘的大部分工作都在這一步，經(jīng)常會(huì)到這一步。

1。數(shù)據(jù)挖掘數(shù)據(jù)挖掘是指通過統(tǒng)計(jì)學(xué)、人工智能、機(jī)器學(xué)習(xí)等方法，從大量數(shù)據(jù)中挖掘未知的、有價(jià)值的信息和知識(shí)的過程。數(shù)據(jù)挖掘主要解決分類、聚類、關(guān)聯(lián)、預(yù)測(cè)四類問題，有定量的，也有定性的。數(shù)據(jù)挖掘的重點(diǎn)是發(fā)現(xiàn)未知的模式和規(guī)律。輸出模型或規(guī)則，并據(jù)此得到模型分?jǐn)?shù)或標(biāo)簽。模型得分例如損失概率值、總得分、相似度、預(yù)測(cè)值等。標(biāo)簽有高、中、低價(jià)值用戶，虧損與不虧損，信用好與差。

綜合起來看，數(shù)據(jù)分析(狹義)和數(shù)據(jù)挖掘的本質(zhì)是一樣的，都是從數(shù)據(jù)中發(fā)現(xiàn)商業(yè)知識(shí)(有價(jià)值的信息)，從而幫助企業(yè)運(yùn)營，改進(jìn)產(chǎn)品，幫助企業(yè)更好的決策。因此，數(shù)據(jù)分析(狹義)和數(shù)據(jù)挖掘構(gòu)成了廣義的數(shù)據(jù)分析。這些內(nèi)容與數(shù)據(jù)分析不同。2.數(shù)據(jù)分析其實(shí)我們可以說數(shù)據(jù)分析是對(duì)數(shù)據(jù)的一種操作方法或者算法。目標(biāo)是根據(jù)先驗(yàn)約束對(duì)數(shù)據(jù)進(jìn)行整理、過濾和處理，從而得到信息。

關(guān)于什么是數(shù)據(jù)挖掘，很多學(xué)者和專家給出了不同的定義。下面是一些常用語:“簡(jiǎn)而言之，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或‘挖掘’知識(shí)。這個(gè)術(shù)語實(shí)際上有點(diǎn)用詞不當(dāng)。數(shù)據(jù)挖掘應(yīng)該更正確地命名為“從數(shù)據(jù)中挖掘知識(shí)”，不幸的是它有點(diǎn)長(zhǎng)。許多人將數(shù)據(jù)挖掘視為另一個(gè)常用術(shù)語“數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)”或KDD的同義詞。其他人只是把數(shù)據(jù)挖掘作為數(shù)據(jù)庫中知識(shí)發(fā)現(xiàn)過程的一個(gè)基本步驟。

“使用基于計(jì)算機(jī)的方法，包括新技術(shù)，從數(shù)據(jù)中獲取有用知識(shí)的整個(gè)過程稱為數(shù)據(jù)挖掘?！薄稊?shù)據(jù)挖掘——概念、模型、方法和算法》(MehmedKantardzic)“數(shù)據(jù)挖掘，簡(jiǎn)單來說就是從數(shù)據(jù)庫中自動(dòng)發(fā)現(xiàn)相關(guān)的模式。

數(shù)據(jù)挖掘可以通過了解數(shù)據(jù)和數(shù)據(jù)源、獲取相關(guān)知識(shí)和技術(shù)、整合和檢查數(shù)據(jù)、去除錯(cuò)誤或不一致的數(shù)據(jù)、建立模型和假設(shè)、實(shí)際數(shù)據(jù)挖掘、測(cè)試和驗(yàn)證挖掘結(jié)果、解釋和應(yīng)用來完成。數(shù)據(jù)挖掘的步驟會(huì)隨著不同領(lǐng)域的應(yīng)用而變化，每種數(shù)據(jù)挖掘技術(shù)都會(huì)有自己的特點(diǎn)和應(yīng)用步驟，針對(duì)不同問題和需求做出的數(shù)據(jù)挖掘過程也會(huì)有所不同，此外，數(shù)據(jù)的完整程度和專業(yè)支持程度也會(huì)對(duì)數(shù)據(jù)挖掘過程的建立產(chǎn)生影響。