BojanMiletic提出了關(guān)于異常使用機器學習算法時在數(shù)據(jù)集中進行值檢測的問題。這篇文章是對他的問題的回答。許多機器學習算法對輸入數(shù)據(jù)中屬性值的范圍和分布很敏感。輸入數(shù)據(jù)中異常的值可能會扭曲和誤導機器學習算法的訓練過程，從而導致訓練時間更長，模型更不準確，最終效果不佳。異常的數(shù)值是羅伯茨拍的。多諾萬，有些權(quán)利是保留的。甚至在為訓練數(shù)據(jù)準備預測模型之前，值異常可能會導致誤導性表示，進而導致對收集的數(shù)據(jù)的誤導性解釋。

最后,異常的值可以表示與問題相關(guān)的數(shù)據(jù)實例的示例，例如欺詐檢測和計算機安全中的異常異常的值是一個極值，遠遠超過其他觀測值。例如，在正態(tài)分布中,異常的值可以是分布尾部的值。識別異常值的過程在數(shù)據(jù)挖掘和機器學習中有很多名字，比如異常值挖掘、異常值建模和新穎性檢測、異常檢測。

均值、中值、眾數(shù)等。都屬于匯總數(shù)據(jù)的方法。都是為了表達數(shù)據(jù)中的中心化趨勢，也就是抓住數(shù)據(jù)的核心，但只有其中一種不能準確表達這種趨勢。注:平均值和均值我們常說的平均值，其實就是算術(shù)平均值，也就是平均數(shù)。因為平均數(shù)是一個很大的概念，比如幾何平均數(shù)、調(diào)和平均數(shù)、加權(quán)平均數(shù)等。，平均值是指一組數(shù)據(jù)中所有數(shù)據(jù)的總和除以數(shù)據(jù)個數(shù)。

和每一個數(shù)據(jù)都有關(guān)系，是生活中最常見的。異常 value數(shù)據(jù)集將包含異常 large或異常 small的一個或多個值，這樣的極值稱為異常 values。異常的存在會導致數(shù)據(jù)的集中趨勢，也就是均值出現(xiàn)偏差，要么過大，要么過小。所以有時候數(shù)據(jù)分析要先排除異常值，當然要看情況。中位數(shù)按從小到大(或從大到小)排列一組數(shù)據(jù)，中間數(shù)(或兩個中間數(shù)的平均值)為該組數(shù)據(jù)的中位數(shù)。

作者:宋添龍，如需轉(zhuǎn)載，請聯(lián)系華章科技。數(shù)據(jù)丟失有兩種:一種是線路記錄丟失，也叫數(shù)據(jù)記錄丟失；另一種是數(shù)據(jù)列值缺失，即數(shù)據(jù)記錄中某些列的值由于各種原因而空缺。不同的數(shù)據(jù)存儲和環(huán)境對缺失值有不同的表示，例如，在數(shù)據(jù)庫中為Null，在Python中為None，在Pandas或Numpy中為NaN。在極少數(shù)情況下，某些缺失值會被空字符串替換，但空字符串肯定不同于缺失值。

丟失的數(shù)據(jù)記錄無法找回。本文主要討論如何處理數(shù)據(jù)列類型的缺失值。通常有四種思維方式。1.丟棄這種方法簡單明了，直接刪除有缺失值的行記錄(整行刪除)或列字段(整列刪除)，減少缺失數(shù)據(jù)記錄對整體數(shù)據(jù)的影響。但是丟棄意味著數(shù)據(jù)特征會降低，這種方法不適合以下任何一種場景。2.補碼是比丟棄更常用的處理缺失值的方法。

自變量存在異常 value，可通過以下方式處理:(1)手動剔除共線性自變量，先做相關(guān)分析，如果發(fā)現(xiàn)某兩個自變量X(解釋變量)的相關(guān)系數(shù)值大于0.7，剔除一個自變量(解釋變量)，再做回歸分析。但是，這種方法有一個小問題，就是有時候你根本不想從模型中去掉一個自變量。如果有這種情況，可以考慮用逐步回歸讓軟件自動剔除，比較好的方法可能是用嶺回歸進行分析。

這種解決方案的問題是，算法可能會消除它不想消除的獨立變量。如果出現(xiàn)這種情況，此時最好使用嶺回歸進行分析。(3)增加樣本量是解釋共線性問題的一種方法，但在實踐中可能不適合，因為收集樣本量需要時間和成本。(4)嶺回歸上面提到的第一種和第二種解法在實際研究中應(yīng)用廣泛，但問題是，如果不想在實際研究中剔除某些自變量，有些自變量是非常重要的，是不能剔除的。

異常數(shù)值處理的常用方法(1)在SPSS軟件中直接刪除這個觀測值有兩種不同的方法，整體刪除和成對刪除。當然，這種方法簡單易行，但缺點也很明顯，第一，我們經(jīng)常會遇到觀測值少，會導致樣本量不足的情況。第二，很多直接刪除的觀測值還可能改變變量的原始分布，從而導致統(tǒng)計模型不穩(wěn)定，(2)就目前而言，我們通常觀察到的異常的值對于整個模型來說并不明顯，不如綜合分析，像回歸分析。我們經(jīng)常利用殘差分布信息來判斷模型的好壞以及殘差是否超出經(jīng)驗范圍( 3標準差)，此外，對于整個模型來說，一些指標，如Mahalanobis、Cooks和協(xié)方差比，可以為一個觀察值或整體提供擬合信息，這些指標也會提示分析師的異常 value信息。