決策數(shù)不等于樣本類別數(shù)的原因是大數(shù)據(jù)時代是否需要采樣。這是肯定的，數(shù)據(jù)預(yù)處理-樣本均衡樣本類別分布不均勻主要出現(xiàn)在與分類相關(guān)的建模問題中，所謂不平衡，就是不同類別的樣本量差別很大，大數(shù)據(jù)分布不均；在這種情況下，整體數(shù)據(jù)規(guī)模較大，但小樣本類所占比例相對較小。

引言異常值的檢測和報警一直是業(yè)界非常關(guān)注的問題。自動準確地檢測系統(tǒng)的異常值，不僅可以節(jié)省大量的人力物力，而且可以盡早發(fā)現(xiàn)系統(tǒng)的異常情況，挽回不必要的損失。格推也非常重視大數(shù)據(jù)中的離群點檢測。比如運維部門的流量管理業(yè)務(wù)，格推很早就開始了離群點檢測的實踐，也因此積累了豐富的經(jīng)驗。本文將從以下幾個方面介紹離群點檢測。

在數(shù)學(xué)上，離群點可以表示出來，這樣離群點檢測問題就可以轉(zhuǎn)化為一個數(shù)學(xué)問題來求解。離群點檢測廣泛應(yīng)用于許多場景，例如:1 .對互聯(lián)網(wǎng)上一些服務(wù)器的訪問進行流量監(jiān)測，可能是周期性的，也可能是趨勢性的:一般來說是比較穩(wěn)定的，但是在被一些黑客攻擊之后，它的訪問可能會發(fā)生明顯的變化，及早發(fā)現(xiàn)這些異常變化，對企業(yè)來說是非常好的防范報警。

1、變量之間的關(guān)系可以分為兩類函數(shù)關(guān)系:反映事物之間的某種確定關(guān)系。相關(guān)性:兩個變量之間存在一定的依賴關(guān)系，但不是一一對應(yīng)的關(guān)系；反映交易之間不完全確定關(guān)系；2.為什么要檢驗相關(guān)系數(shù)的顯著性？事實上，完全不相關(guān)的變量在使用樣本數(shù)據(jù)進行計算時，也可能得到更大的相關(guān)系數(shù)值(尤其是時間序列值)。當樣本數(shù)較少時，相關(guān)系數(shù)較大。

正確使用，避免陷入大數(shù)據(jù)的“陷阱”。通常，對于新的IT關(guān)鍵詞會有“反對”的聲音。最近“大數(shù)據(jù)”成為攻擊目標，“大數(shù)據(jù)失敗論”等論調(diào)也明顯增多。業(yè)界對大數(shù)據(jù)有很大的期待，大量的大數(shù)據(jù)研討會和展會就是證明。這些年來，除了云計算的浪潮，大數(shù)據(jù)是缺乏熱門話題的IT行業(yè)期待已久的大型關(guān)鍵詞?；蛟S大數(shù)據(jù)會成為恢復(fù)行業(yè)活力的強心劑。

換句話說，如何有效利用數(shù)據(jù)促進商業(yè)成功已經(jīng)成為國家戰(zhàn)略的一部分。雖然筆者既不是強力支持者，也不是反對者，但通過之前的采訪經(jīng)歷，我對數(shù)據(jù)處理的難度有著清醒的認識。更何況涉及到大數(shù)據(jù)，難度顯而易見。筆者身邊很多人也對大數(shù)據(jù)有不同的看法，提出各種問題。當然，這些對于IT行業(yè)的讀者來說是很自然的事情，作者說這些可能是班門弄斧。

5、大數(shù)據(jù)時代是否需要抽樣

大數(shù)據(jù)時代需要采樣是肯定的。原因如下:1。采樣過程可以幫助我們控制數(shù)據(jù)的質(zhì)量。在整體數(shù)據(jù)中，可能存在一些缺失或異常值，抽樣可以在一定程度上幫助我們控制數(shù)據(jù)的質(zhì)量。2.用于分析的數(shù)據(jù)質(zhì)量遠比數(shù)量重要，所以數(shù)據(jù)越多越好。3.其實采樣做得好的話，數(shù)據(jù)分析會很簡單。相反，如果采樣做得不好或者一般把所有數(shù)據(jù)都納入分析，往往需要用各種復(fù)雜的方法來補救，分析難度會大大提高。

大數(shù)據(jù)時代，需要對所有的事物進行采樣，有時需要對所有與事物相關(guān)的數(shù)據(jù)進行分析，因為大數(shù)據(jù)更全面；有時應(yīng)該分析少量的樣本數(shù)據(jù)，因為采樣效率更高。未來，大數(shù)據(jù)和采樣將相輔相成，齊頭并進。如果通過采樣可以顯著降低數(shù)據(jù)處理的復(fù)雜度，并且解決問題的效果沒有大幅度降低，那么采樣就是最優(yōu)解；如果解決問題的效果隨著采樣率的降低而迅速下降，那就要尋求大數(shù)據(jù)解決方案了。

樣本類別分布不均勻主要出現(xiàn)在與分類相關(guān)的建模問題中。所謂不平衡，就是不同類別的樣本量差別很大。樣本類別分布不均勻分為大數(shù)據(jù)分布不均勻和小數(shù)據(jù)分布不均勻兩種。大數(shù)據(jù)分布不均；在這種情況下，整體數(shù)據(jù)規(guī)模較大，但小樣本類所占比例相對較小。但從每個特征的分布來看，小樣本也涵蓋了大部分或全部特征。比如在一個有1000萬條記錄的數(shù)據(jù)集中，有少量的分類樣本，占50萬條，方便屬于這種情況。

這種情況下，整體數(shù)據(jù)規(guī)模較小，占據(jù)小樣本比例的分類數(shù)量也較少，會導(dǎo)致特征分布嚴重失衡。比如在一個有1000個數(shù)據(jù)樣本的數(shù)據(jù)集中，對10個樣本進行分類，無論特征如何擬合，都無法達到完全的特征值覆蓋，這就是數(shù)據(jù)樣本分布嚴重不均勻。影響:樣本分布不均勻會導(dǎo)致樣本量小的分類中特征太少，難以從中提取規(guī)則。即使得到了分類模型，也容易過度依賴有限的數(shù)據(jù)樣本，導(dǎo)致過擬合。

大數(shù)據(jù)的抽樣計算方法需要考慮以下問題:1。抽樣目標和樣本定義:確定研究目標，需要的樣本類型，如何定義樣本，如抽取具體人群和時間范圍。2.人口的定義和特征:確保清楚了解人口的范圍和性質(zhì)，包括其規(guī)模、分布和特征。3.建立抽樣框:建立一個包含總體中所有個體的列表或框，以便從中抽樣，保證總體的完整性和覆蓋面。

現(xiàn)在從事銷售和營銷的人，如果不懂得分析數(shù)據(jù)，真的是落伍了。我沒見過多少商業(yè)領(lǐng)袖說:“給我看看數(shù)據(jù)。沒有數(shù)據(jù)我怎么做決策？”可見，數(shù)據(jù)分析在當今的企業(yè)管理中起著非常重要的作用，數(shù)據(jù)分析師也是未來十年十大最有前途的職業(yè)之一。我們來看一個用數(shù)據(jù)騙人的案例:美國和西班牙戰(zhàn)爭期間，美國海軍的死亡率是9‰，而同期紐約居民的死亡率是16‰。

你認為這個結(jié)論正確嗎？當然是不正確的。這兩個數(shù)字根本不匹配，士兵都是身體健全的年輕人，居民死亡率包括老弱病殘的數(shù)據(jù)。相對來說，這些人死亡率很高，所以正常應(yīng)該是和同年齡段和紐約居民的海軍數(shù)據(jù)對比。其實你發(fā)現(xiàn)9‰和16‰根本沒有可比性，企業(yè)管理者對“虛假”數(shù)據(jù)深惡痛絕。原因不言而喻:“虛假數(shù)據(jù)”造成資源浪費、決策失誤、戰(zhàn)機延誤等等。