隨著大數(shù)據(jù)時代的發(fā)展，越來越多的人開始投身于大數(shù)據(jù)分析行業(yè)。我們在做大數(shù)據(jù)分析的時候，經(jīng)常會聽到一些耳熟能詳?shù)男袠I(yè)詞匯，比如數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等等。但是，一個行業(yè)詞雖然沒有前面的詞那么廣為人知，但是和前面的詞一樣重要，那就是數(shù)據(jù)清洗。顧名思義，數(shù)據(jù)清洗就是清理臟數(shù)據(jù)，指的是在數(shù)據(jù)文件中發(fā)現(xiàn)并糾正可識別錯誤的最后一道程序，包括檢查數(shù)據(jù)一致性、處理無效值和缺失值。

比如，需要從數(shù)據(jù)倉庫中抽取一些數(shù)據(jù)，但由于數(shù)據(jù)倉庫通常是某個主題的數(shù)據(jù)集合，這些數(shù)據(jù)是從多個業(yè)務(wù)系統(tǒng)中抽取的，所以不可避免地包含了不完整的數(shù)據(jù)。錯誤的數(shù)據(jù)具有很強(qiáng)的重復(fù)性，這些數(shù)據(jù)稱為臟數(shù)據(jù)。我們需要工具按照一定的規(guī)則清理這些臟數(shù)據(jù)，以保證后續(xù)分析結(jié)果的準(zhǔn)確性。這個過程就是數(shù)據(jù)清洗。常用的數(shù)據(jù)清洗方法有四種:丟棄、處理和真值轉(zhuǎn)換。

數(shù)據(jù)清洗包括數(shù)據(jù)格式驗證與轉(zhuǎn)換、空位值填充、異常值檢查、截斷處理等多個方面。語言有很多種，常用的有SQL和SAS。用好這兩個，你就無敵了。數(shù)據(jù)清洗的主要目的是:①解決數(shù)據(jù)質(zhì)量問題；②使數(shù)據(jù)更適合挖掘；數(shù)據(jù)清洗是通過選擇一定的方法，對數(shù)據(jù)審核過程中發(fā)現(xiàn)的明顯的錯誤值、缺失值、異常值和可疑數(shù)據(jù)進(jìn)行“清洗”，為后續(xù)的數(shù)據(jù)分析做準(zhǔn)備。

取字符串的值，根據(jù)ANSI代碼對值求和得到字符串的值，如果值太大，取一個合適的質(zhì)數(shù)對其取模。②標(biāo)準(zhǔn)化歸一化對整個數(shù)據(jù)進(jìn)行歸一化，利用最小最大標(biāo)準(zhǔn)化方法將數(shù)據(jù)映射到指定的數(shù)值范圍。③數(shù)據(jù)降維原始數(shù)據(jù)中有多個維度，利用主成分分析對數(shù)據(jù)降維。

數(shù)據(jù)清洗需要清洗的數(shù)據(jù)是輸入后需要預(yù)處理的數(shù)據(jù)，只有處理得當(dāng)?shù)臄?shù)據(jù)才能進(jìn)入數(shù)據(jù)挖掘步驟。處理數(shù)據(jù)包括處理數(shù)據(jù)的數(shù)量和質(zhì)量。包括添加或刪除缺失數(shù)據(jù)的方法，具體步驟自己判斷。如果數(shù)據(jù)量很小，那是你自己的問題。補(bǔ)充:常用拉格朗日插值或牛頓插值，也是相當(dāng)容易理解的，屬于數(shù)學(xué)基礎(chǔ)知識。(熊貓庫自帶拉格朗日插值函數(shù)，這個優(yōu)點(diǎn)是還能在插值前檢測出數(shù)據(jù)的異常值。如果異常，數(shù)據(jù)也被視為需要插值的對象)。

是否應(yīng)該消除異常值取決于具體情況。在問題1中，被視為缺失的值被重新插值，含有異常值的記錄被刪除(這可能導(dǎo)致樣本量不足，改變原來的分布)，平均值被修正(使用前后兩次觀測值的平均值)。綜上所述，第一種方案比較可靠。人生苦短。學(xué)好python3有三種方法:集成、規(guī)范和轉(zhuǎn)換。(1)當(dāng)數(shù)據(jù)分散時，意味著從多個分散的數(shù)據(jù)倉庫中提取數(shù)據(jù)，可能會造成冗余。

數(shù)據(jù)倉庫主要清洗不完整、不正確、重復(fù)的數(shù)據(jù)，清洗后的數(shù)據(jù)可以存儲在數(shù)據(jù)倉庫的存儲層。對于數(shù)據(jù)挖掘來說，數(shù)據(jù)清洗是數(shù)據(jù)預(yù)處理的一部分，包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)約簡和數(shù)據(jù)離散化，其中，數(shù)據(jù)清洗的內(nèi)容大于等于數(shù)據(jù)倉庫的內(nèi)容。如果數(shù)據(jù)挖掘的數(shù)據(jù)源來自數(shù)據(jù)倉庫，那么在數(shù)據(jù)清洗階段可以省略對不完整數(shù)據(jù)、錯誤數(shù)據(jù)和重復(fù)數(shù)據(jù)的清洗，但是像平滑噪聲數(shù)據(jù)、識別和刪除異常值、解決不一致等事情還是要在數(shù)據(jù)清洗階段進(jìn)行。