決策數(shù)不等于樣本類別數(shù)的原因是大數(shù)據(jù)時(shí)代是否需要采樣。這是肯定的，數(shù)據(jù)預(yù)處理-樣本均衡樣本類別分布不均勻主要出現(xiàn)在與分類相關(guān)的建模問(wèn)題中，所謂不平衡，就是不同類別的樣本量差別很大，大數(shù)據(jù)分布不均；在這種情況下，整體數(shù)據(jù)規(guī)模較大，但小樣本類所占比例相對(duì)較小。

引言異常值的檢測(cè)和報(bào)警一直是業(yè)界非常關(guān)注的問(wèn)題。自動(dòng)準(zhǔn)確地檢測(cè)系統(tǒng)的異常值，不僅可以節(jié)省大量的人力物力，而且可以盡早發(fā)現(xiàn)系統(tǒng)的異常情況，挽回不必要的損失。格推也非常重視大數(shù)據(jù)中的離群點(diǎn)檢測(cè)。比如運(yùn)維部門的流量管理業(yè)務(wù)，格推很早就開(kāi)始了離群點(diǎn)檢測(cè)的實(shí)踐，也因此積累了豐富的經(jīng)驗(yàn)。本文將從以下幾個(gè)方面介紹離群點(diǎn)檢測(cè)。

在數(shù)學(xué)上，離群點(diǎn)可以表示出來(lái)，這樣離群點(diǎn)檢測(cè)問(wèn)題就可以轉(zhuǎn)化為一個(gè)數(shù)學(xué)問(wèn)題來(lái)求解。離群點(diǎn)檢測(cè)廣泛應(yīng)用于許多場(chǎng)景，例如:1 .對(duì)互聯(lián)網(wǎng)上一些服務(wù)器的訪問(wèn)進(jìn)行流量監(jiān)測(cè)，可能是周期性的，也可能是趨勢(shì)性的:一般來(lái)說(shuō)是比較穩(wěn)定的，但是在被一些黑客攻擊之后，它的訪問(wèn)可能會(huì)發(fā)生明顯的變化，及早發(fā)現(xiàn)這些異常變化，對(duì)企業(yè)來(lái)說(shuō)是非常好的防范報(bào)警。

1、變量之間的關(guān)系可以分為兩類函數(shù)關(guān)系:反映事物之間的某種確定關(guān)系。相關(guān)性:兩個(gè)變量之間存在一定的依賴關(guān)系，但不是一一對(duì)應(yīng)的關(guān)系；反映交易之間不完全確定關(guān)系；2.為什么要檢驗(yàn)相關(guān)系數(shù)的顯著性？事實(shí)上，完全不相關(guān)的變量在使用樣本數(shù)據(jù)進(jìn)行計(jì)算時(shí)，也可能得到更大的相關(guān)系數(shù)值(尤其是時(shí)間序列值)。當(dāng)樣本數(shù)較少時(shí)，相關(guān)系數(shù)較大。

正確使用，避免陷入大數(shù)據(jù)的“陷阱”。通常，對(duì)于新的IT關(guān)鍵詞會(huì)有“反對(duì)”的聲音。最近“大數(shù)據(jù)”成為攻擊目標(biāo)，“大數(shù)據(jù)失敗論”等論調(diào)也明顯增多。業(yè)界對(duì)大數(shù)據(jù)有很大的期待，大量的大數(shù)據(jù)研討會(huì)和展會(huì)就是證明。這些年來(lái)，除了云計(jì)算的浪潮，大數(shù)據(jù)是缺乏熱門話題的IT行業(yè)期待已久的大型關(guān)鍵詞?；蛟S大數(shù)據(jù)會(huì)成為恢復(fù)行業(yè)活力的強(qiáng)心劑。

換句話說(shuō)，如何有效利用數(shù)據(jù)促進(jìn)商業(yè)成功已經(jīng)成為國(guó)家戰(zhàn)略的一部分。雖然筆者既不是強(qiáng)力支持者，也不是反對(duì)者，但通過(guò)之前的采訪經(jīng)歷，我對(duì)數(shù)據(jù)處理的難度有著清醒的認(rèn)識(shí)。更何況涉及到大數(shù)據(jù)，難度顯而易見(jiàn)。筆者身邊很多人也對(duì)大數(shù)據(jù)有不同的看法，提出各種問(wèn)題。當(dāng)然，這些對(duì)于IT行業(yè)的讀者來(lái)說(shuō)是很自然的事情，作者說(shuō)這些可能是班門弄斧。

5、大數(shù)據(jù)時(shí)代是否需要抽樣

大數(shù)據(jù)時(shí)代需要采樣是肯定的。原因如下:1。采樣過(guò)程可以幫助我們控制數(shù)據(jù)的質(zhì)量。在整體數(shù)據(jù)中，可能存在一些缺失或異常值，抽樣可以在一定程度上幫助我們控制數(shù)據(jù)的質(zhì)量。2.用于分析的數(shù)據(jù)質(zhì)量遠(yuǎn)比數(shù)量重要，所以數(shù)據(jù)越多越好。3.其實(shí)采樣做得好的話，數(shù)據(jù)分析會(huì)很簡(jiǎn)單。相反，如果采樣做得不好或者一般把所有數(shù)據(jù)都納入分析，往往需要用各種復(fù)雜的方法來(lái)補(bǔ)救，分析難度會(huì)大大提高。

大數(shù)據(jù)時(shí)代，需要對(duì)所有的事物進(jìn)行采樣，有時(shí)需要對(duì)所有與事物相關(guān)的數(shù)據(jù)進(jìn)行分析，因?yàn)榇髷?shù)據(jù)更全面；有時(shí)應(yīng)該分析少量的樣本數(shù)據(jù)，因?yàn)椴蓸有矢?。未?lái)，大數(shù)據(jù)和采樣將相輔相成，齊頭并進(jìn)。如果通過(guò)采樣可以顯著降低數(shù)據(jù)處理的復(fù)雜度，并且解決問(wèn)題的效果沒(méi)有大幅度降低，那么采樣就是最優(yōu)解；如果解決問(wèn)題的效果隨著采樣率的降低而迅速下降，那就要尋求大數(shù)據(jù)解決方案了。

樣本類別分布不均勻主要出現(xiàn)在與分類相關(guān)的建模問(wèn)題中。所謂不平衡，就是不同類別的樣本量差別很大。樣本類別分布不均勻分為大數(shù)據(jù)分布不均勻和小數(shù)據(jù)分布不均勻兩種。大數(shù)據(jù)分布不均；在這種情況下，整體數(shù)據(jù)規(guī)模較大，但小樣本類所占比例相對(duì)較小。但從每個(gè)特征的分布來(lái)看，小樣本也涵蓋了大部分或全部特征。比如在一個(gè)有1000萬(wàn)條記錄的數(shù)據(jù)集中，有少量的分類樣本，占50萬(wàn)條，方便屬于這種情況。

這種情況下，整體數(shù)據(jù)規(guī)模較小，占據(jù)小樣本比例的分類數(shù)量也較少，會(huì)導(dǎo)致特征分布嚴(yán)重失衡。比如在一個(gè)有1000個(gè)數(shù)據(jù)樣本的數(shù)據(jù)集中，對(duì)10個(gè)樣本進(jìn)行分類，無(wú)論特征如何擬合，都無(wú)法達(dá)到完全的特征值覆蓋，這就是數(shù)據(jù)樣本分布嚴(yán)重不均勻。影響:樣本分布不均勻會(huì)導(dǎo)致樣本量小的分類中特征太少，難以從中提取規(guī)則。即使得到了分類模型，也容易過(guò)度依賴有限的數(shù)據(jù)樣本，導(dǎo)致過(guò)擬合。

大數(shù)據(jù)的抽樣計(jì)算方法需要考慮以下問(wèn)題:1。抽樣目標(biāo)和樣本定義:確定研究目標(biāo)，需要的樣本類型，如何定義樣本，如抽取具體人群和時(shí)間范圍。2.人口的定義和特征:確保清楚了解人口的范圍和性質(zhì)，包括其規(guī)模、分布和特征。3.建立抽樣框:建立一個(gè)包含總體中所有個(gè)體的列表或框，以便從中抽樣，保證總體的完整性和覆蓋面。

現(xiàn)在從事銷售和營(yíng)銷的人，如果不懂得分析數(shù)據(jù)，真的是落伍了。我沒(méi)見(jiàn)過(guò)多少商業(yè)領(lǐng)袖說(shuō):“給我看看數(shù)據(jù)。沒(méi)有數(shù)據(jù)我怎么做決策？”可見(jiàn)，數(shù)據(jù)分析在當(dāng)今的企業(yè)管理中起著非常重要的作用，數(shù)據(jù)分析師也是未來(lái)十年十大最有前途的職業(yè)之一。我們來(lái)看一個(gè)用數(shù)據(jù)騙人的案例:美國(guó)和西班牙戰(zhàn)爭(zhēng)期間，美國(guó)海軍的死亡率是9‰，而同期紐約居民的死亡率是16‰。

你認(rèn)為這個(gè)結(jié)論正確嗎？當(dāng)然是不正確的。這兩個(gè)數(shù)字根本不匹配，士兵都是身體健全的年輕人，居民死亡率包括老弱病殘的數(shù)據(jù)。相對(duì)來(lái)說(shuō)，這些人死亡率很高，所以正常應(yīng)該是和同年齡段和紐約居民的海軍數(shù)據(jù)對(duì)比。其實(shí)你發(fā)現(xiàn)9‰和16‰根本沒(méi)有可比性，企業(yè)管理者對(duì)“虛假”數(shù)據(jù)深惡痛絕。原因不言而喻:“虛假數(shù)據(jù)”造成資源浪費(fèi)、決策失誤、戰(zhàn)機(jī)延誤等等。