亚洲一区二区a,91啪啪啪免费网站

本文目錄一覽

1，knn算法怎么用于regression
2，簡述knn是什么輸入輸出大數(shù)據(jù)考試
3，請教KNN法則算法的原理全天在線如有提示立即給分
4，knearest neighbor algorithm
5，k近鄰算法的案例介紹
6，文本分類的方法

1，knn算法怎么用于regression

K最近鄰(k-Nearest Neighbor，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學習算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。

不明白啊 = =！

knn算法怎么用于regression

2，簡述knn是什么輸入輸出大數(shù)據(jù)考試

kNN算法的核心思想非常簡單：在訓練集中選取離輸入的數(shù)據(jù)點最近的k個鄰居，根據(jù)這個k個鄰居中出現(xiàn)次數(shù)最多的類別（最大表決規(guī)則），作為該數(shù)據(jù)點的類別。算法描述訓練集T=y=argmaxcj∑xi∈Nk(x)I(yi=cj), i=1,2,?,N; j=1,2,?,K(1)(1)y=arg?maxcj?∑xi∈Nk(x)I(yi=cj), i=1,2,?,N; j=1,2,?,K其中，涵蓋xx的k鄰域記作Nk(x)Nk(x)，當yi=cjyi=cj時指示函數(shù)I=1I=1，否則I=0I=0。

沒看懂什么意思？

簡述knn是什么輸入輸出大數(shù)據(jù)考試

3，請教KNN法則算法的原理全天在線如有提示立即給分

KNN（K 最近鄰居）算法該算法的基本思路是：在給定新文本后，考慮在訓練文本集中與該新文本距離最近（最相似）的 K 篇文本，根據(jù)這 K 篇文本所屬的類別判定新文本所屬的類別，具體的算法步驟如下：STEP ONE:根據(jù)特征項集合重新描述訓練文本向量STEP TWO:在新文本到達后，根據(jù)特征詞分詞新文本，確定新文本的向量表示STEP THREE:在訓練文本集中選出與新文本最相似的 K 個文本，計算公式為：其中，K 值的確定目前沒有很好的方法，一般采用先定一個初始值，然后根據(jù)實驗測試的結(jié)果調(diào)整 K 值，一般初始值定為幾百到幾千之間。STEP FOUR:在新文本的 K 個鄰居中，依次計算每類的權(quán)重，計算公式如下：其中，為新文本的特征向量，為相似度計算公式，與上一步驟的計算公式相同，而為類別屬性函數(shù)，即，如果屬于類，那么函數(shù)值為 1，否則為 0。STEP FIVE:比較類的權(quán)重，將文本分到權(quán)重最大的那個類別中。除此以外，支持向量機和神經(jīng)網(wǎng)絡(luò)算法在文本分類系統(tǒng)中應(yīng)用得也較為廣泛，支持向量機的基本思想是使用簡單的線形分類器劃分樣本空間。對于在當前特征空間中線形不可分的模式，則使用一個核函數(shù)把樣本映射到一個高維空間中，使得樣本能夠線形可分。而神經(jīng)網(wǎng)絡(luò)算法采用感知算法進行分類。在這種模型中，分類知識被隱式地存儲在連接的權(quán)值上，使用迭代算法來確定權(quán)值向量。當網(wǎng)絡(luò)輸出判別正確時，權(quán)值向量保持不變，否則進行增加或降低的調(diào)整，因此也稱為獎懲法。

雖然我很聰明，但這么說真的難到我了

請教KNN法則算法的原理全天在線如有提示立即給分

4，knearest neighbor algorithm

https://engineering.purdue.edu/people/mireille.boutin.1/ECE301kiwi/KNN.jpg鏈接的圖中，綠色圓要被決定賦予哪個類，是紅色三角形還是藍色四方形？如果K=3，由于紅色三角形所占比例為2/3，綠色圓將被賦予紅色三角形那個類，如果K=5，由于藍色四方形比例為3/5，因此綠色圓被賦予藍色四方形類。 K最近鄰(k-Nearest Neighbor，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學習算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對象。該方法在定類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。 KNN方法雖然從原理上也依賴于極限定理，但在類別決策時，只與極少量的相鄰樣本有關(guān)。由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。 KNN算法不僅可以用于分類，還可以用于回歸。通過找出一個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，就可以得到該樣本的屬性。更有用的方法是將不同距離的鄰居對該樣本產(chǎn)生的影響給予不同的權(quán)值(weight)，如權(quán)值與距離成正比。該算法在分類時有個主要的不足是，當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數(shù)。因此可以采用權(quán)值的方法（和該樣本距離小的鄰居權(quán)值大）來改進。該方法的另一個不足之處是計算量較大，因為對每一個待分類的文本都要計算它到全體已知樣本的距離，才能求得它的K個最近鄰點。目前常用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本。該算法比較適用于樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域采用這種算法比較容易產(chǎn)生誤分。

5，k近鄰算法的案例介紹

如上圖所示，有兩類不同的樣本數(shù)據(jù)，分別用藍色的小正方形和紅色的小三角形表示，而圖正中間的那個綠色的圓所標示的數(shù)據(jù)則是待分類的數(shù)據(jù)。也就是說，現(xiàn)在，我們不知道中間那個綠色的數(shù)據(jù)是從屬于哪一類（藍色小正方形or紅色小三角形），下面，我們就要解決這個問題：給這個綠色的圓分類?！　∥覀兂Ｕf，物以類聚，人以群分，判別一個人是一個什么樣品質(zhì)特征的人，常?？梢詮乃?她身邊的朋友入手，所謂觀其友，而識其人。我們不是要判別上圖中那個綠色的圓是屬于哪一類數(shù)據(jù)么，好說，從它的鄰居下手。但一次性看多少個鄰居呢？從上圖中，你還能看到：如果K=3，綠色圓點的最近的3個鄰居是2個紅色小三角形和1個藍色小正方形，少數(shù)從屬于多數(shù)，基于統(tǒng)計的方法，判定綠色的這個待分類點屬于紅色的三角形一類。如果K=5，綠色圓點的最近的5個鄰居是2個紅色三角形和3個藍色的正方形，還是少數(shù)從屬于多數(shù)，基于統(tǒng)計的方法，判定綠色的這個待分類點屬于藍色的正方形一類。于此我們看到，當無法判定當前待分類點是從屬于已知分類中的哪一類時，我們可以依據(jù)統(tǒng)計學的理論看它所處的位置特征，衡量它周圍鄰居的權(quán)重，而把它歸為(或分配)到權(quán)重更大的那一類。這就是K近鄰算法的核心思想。KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對象。該方法在定類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。KNN 算法本身簡單有效，它是一種 lazy-learning 算法，分類器不需要使用訓練集進行訓練，訓練時間復雜度為0。KNN 分類的計算復雜度和訓練集中的文檔數(shù)目成正比，也就是說，如果訓練集中文檔總數(shù)為 n，那么 KNN 的分類時間復雜度為O(n)。KNN方法雖然從原理上也依賴于極限定理，但在類別決策時，只與極少量的相鄰樣本有關(guān)。由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。K 近鄰算法使用的模型實際上對應(yīng)于對特征空間的劃分。K 值的選擇，距離度量和分類決策規(guī)則是該算法的三個基本要素： K 值的選擇會對算法的結(jié)果產(chǎn)生重大影響。K值較小意味著只有與輸入實例較近的訓練實例才會對預測結(jié)果起作用，但容易發(fā)生過擬合；如果 K 值較大，優(yōu)點是可以減少學習的估計誤差，但缺點是學習的近似誤差增大，這時與輸入實例較遠的訓練實例也會對預測起作用，是預測發(fā)生錯誤。在實際應(yīng)用中，K 值一般選擇一個較小的數(shù)值，通常采用交叉驗證的方法來選擇最優(yōu)的 K 值。隨著訓練實例數(shù)目趨向于無窮和 K=1 時，誤差率不會超過貝葉斯誤差率的2倍，如果K也趨向于無窮，則誤差率趨向于貝葉斯誤差率。該算法中的分類決策規(guī)則往往是多數(shù)表決，即由輸入實例的 K 個最臨近的訓練實例中的多數(shù)類決定輸入實例的類別距離度量一般采用 Lp 距離，當p=2時，即為歐氏距離，在度量之前，應(yīng)該將每個屬性的值規(guī)范化，這樣有助于防止具有較大初始值域的屬性比具有較小初始值域的屬性的權(quán)重過大。 KNN算法不僅可以用于分類，還可以用于回歸。通過找出一個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，就可以得到該樣本的屬性。更有用的方法是將不同距離的鄰居對該樣本產(chǎn)生的影響給予不同的權(quán)值(weight)，如權(quán)值與距離成反比?！≡撍惴ㄔ诜诸悤r有個主要的不足是，當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數(shù)。該算法只計算“最近的”鄰居樣本，某一類的樣本數(shù)量很大，那么或者這類樣本并不接近目標樣本，或者這類樣本很靠近目標樣本。無論怎樣，數(shù)量并不能影響運行結(jié)果?？梢圆捎脵?quán)值的方法（和該樣本距離小的鄰居權(quán)值大）來改進。該方法的另一個不足之處是計算量較大，因為對每一個待分類的文本都要計算它到全體已知樣本的距離，才能求得它的K個最近鄰點。目前常用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本。該算法比較適用于樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域采用這種算法比較容易產(chǎn)生誤分。實現(xiàn) K 近鄰算法時，主要考慮的問題是如何對訓練數(shù)據(jù)進行快速 K 近鄰搜索，這在特征空間維數(shù)大及訓練數(shù)據(jù)容量大時非常必要。

6，文本分類的方法

文本分類問題與其它分類問題沒有本質(zhì)上的區(qū)別，其方法可以歸結(jié)為根據(jù)待分類數(shù)據(jù)的某些特征來進行匹配，當然完全的匹配是不太可能的，因此必須（根據(jù)某種評價標準）選擇最優(yōu)的匹配結(jié)果，從而完成分類。后來人們意識到，究竟依據(jù)什么特征來判斷文本應(yīng)當隸屬的類別這個問題，就連人類自己都不太回答得清楚，有太多所謂“只可意會，不能言傳”的東西在里面。人類的判斷大多依據(jù)經(jīng)驗以及直覺，因此自然而然的會有人想到何讓機器像人類一樣自己來通過對大量同類文檔的觀察來自己總結(jié)經(jīng)驗，作為今后分類的依據(jù)。這便是統(tǒng)計學習方法的基本思想。統(tǒng)計學習方法需要一批由人工進行了準確分類的文檔作為學習的材料（稱為訓練集，注意由人分類一批文檔比從這些文檔中總結(jié)出準確的規(guī)則成本要低得多），計算機從這些文檔中挖掘出一些能夠有效分類的規(guī)則，這個過程被形象的稱為訓練，而總結(jié)出的規(guī)則集合常常被稱為分類器。訓練完成之后，需要對計算機從來沒有見過的文檔進行分類時，便使用這些分類器來進行。這些訓練集包括sogou文本分類分類測試數(shù)據(jù)、中文文本分類分類語料庫，包含Arts、Literature等類別的語料文本、可用于聚類的英文文本數(shù)據(jù)集、網(wǎng)易分類文本分類文本數(shù)據(jù)、tc-corpus-train(語料庫訓練集，適用于文本分類分類中的訓練)、2002年中文網(wǎng)頁分類訓練集CCT2002-v1.1等?，F(xiàn)如今，統(tǒng)計學習方法已經(jīng)成為了文本分類領(lǐng)域絕對的主流。主要的原因在于其中的很多技術(shù)擁有堅實的理論基礎(chǔ)（相比之下，知識工程方法中專家的主觀因素居多），存在明確的評價標準，以及實際表現(xiàn)良好。統(tǒng)計分類算法將樣本數(shù)據(jù)成功轉(zhuǎn)化為向量表示之后，計算機才算開始真正意義上的“學習”過程。常用的分類算法為：決策樹，Rocchio，樸素貝葉斯，神經(jīng)網(wǎng)絡(luò)，支持向量機，線性最小平方擬合，kNN，遺傳算法，最大熵，Generalized Instance Set等。在這里只挑幾個最具代表性的算法侃一侃。Rocchio算法Rocchio算法應(yīng)該算是人們思考文本分類問題時最先能想到，也最符合直覺的解決方法。基本的思路是把一個類別里的樣本文檔各項取個平均值（例如把所有 “體育”類文檔中詞匯“籃球”出現(xiàn)的次數(shù)取個平均值，再把“裁判”取個平均值，依次做下去），可以得到一個新的向量，形象的稱之為“質(zhì)心”，質(zhì)心就成了這個類別最具代表性的向量表示。再有新文檔需要判斷的時候，比較新文檔和質(zhì)心有多么相像（八股點說，判斷他們之間的距離）就可以確定新文檔屬不屬于這個類。稍微改進一點的Rocchio算法不僅考慮屬于這個類別的文檔（稱為正樣本），也考慮不屬于這個類別的文檔數(shù)據(jù)（稱為負樣本），計算出來的質(zhì)心盡量靠近正樣本同時盡量遠離負樣本。Rocchio算法做了兩個很致命的假設(shè)，使得它的性能出奇的差。一是它認為一個類別的文檔僅僅聚集在一個質(zhì)心的周圍，實際情況往往不是如此（這樣的數(shù)據(jù)稱為線性不可分的）；二是它假設(shè)訓練數(shù)據(jù)是絕對正確的，因為它沒有任何定量衡量樣本是否含有噪聲的機制，因而也就對錯誤數(shù)據(jù)毫無抵抗力。不過Rocchio產(chǎn)生的分類器很直觀，很容易被人類理解，算法也簡單，還是有一定的利用價值的，常常被用來做科研中比較不同算法優(yōu)劣的基線系統(tǒng)（Base Line）。樸素貝葉斯算法貝葉斯算法關(guān)注的是文檔屬于某類別概率。文檔屬于某個類別的概率等于文檔中每個詞屬于該類別的概率的綜合表達式。而每個詞屬于該類別的概率又在一定程度上可以用這個詞在該類別訓練文檔中出現(xiàn)的次數(shù)（詞頻信息）來粗略估計，因而使得整個計算過程成為可行的。使用樸素貝葉斯算法時，在訓練階段的主要任務(wù)就是估計這些值。樸素貝葉斯算法的公式并不是只有一個。首先對于每一個樣本中的元素要計算先驗概率。其次要計算一個樣本對于每個分類的概率，概率最大的分類將被采納。所以其中P(d| Ci)=P(w1|Ci) P(w2|Ci) …P(wi|Ci) P(w1|Ci) …P(wm|Ci) （式1）P(w|C)=元素w在分類為C的樣本中出現(xiàn)次數(shù)/數(shù)據(jù)整理后的樣本中元素的總數(shù)(式2)這其中就蘊含著樸素貝葉斯算法最大的兩個缺陷。首先，P(d| Ci)之所以能展開成（式1）的連乘積形式，就是假設(shè)一篇文章中的各個詞之間是彼此獨立的，其中一個詞的出現(xiàn)絲毫不受另一個詞的影響（回憶一下概率論中變量彼此獨立的概念就可以知道），但這顯然不對，即使不是語言學專家的我們也知道，詞語之間有明顯的所謂“共現(xiàn)”關(guān)系，在不同主題的文章中，可能共現(xiàn)的次數(shù) 或頻率有變化，但彼此間絕對談不上獨立。其二，使用某個詞在某個類別訓練文檔中出現(xiàn)的次數(shù)來估計P(wi|Ci)時，只在訓練樣本數(shù)量非常多的情況下才比較準確（考慮扔硬幣的問題，得通過大量觀察才能基本得出正反面出現(xiàn)的概率都是二分之一的結(jié)論，觀察次數(shù)太少時很可能得到錯誤的答案），而需要大量樣本的要求不僅給前期人工分類的工作帶來更高要求（從而成本上升），在后期由計算機處理的時候也對存儲和計算資源提出了更高的要求。但是稍有常識的技術(shù)人員都會了解，數(shù)據(jù)挖掘中占用大量時間的部分是數(shù)據(jù)整理。在數(shù)據(jù)整理階段，可以根據(jù)詞匯的情況生成字典，刪除冗余沒有意義的詞匯，對于單字和重要的詞組分開計算等等。這樣可以避免樸素貝葉斯算法的一些問題。其實真正的問題還是存在于算法對于信息熵的計算方式。樸素貝葉斯算法在很多情況下，通過專業(yè)人員的優(yōu)化，可以取得極為良好的識別效果。最為人熟悉的兩家跨國軟件公司在目前仍采用樸素貝葉斯算法作為有些軟件自然語言處理的工具算法。kNN算法最近鄰算法（kNN）：在給定新文檔后，計算新文檔特征向量和訓練文檔集中各個文檔的向量的相似度，得到K篇與該新文檔距離最近最相似的文檔，根據(jù)這K篇文檔所屬的類別判定新文檔所屬的類別（注意這也意味著kNN算法根本沒有真正意義上的“訓練”階段）。這種判斷方法很好的克服了Rocchio算法中無法處理線性不可分問題的缺陷，也很適用于分類標準隨時會產(chǎn)生變化的需求（只要刪除舊訓練文檔，添加新訓練文檔，就改變了分類的準則）。kNN唯一的也可以說最致命的缺點就是判斷一篇新文檔的類別時，需要把它與現(xiàn)存的所有訓練文檔全都比較一遍，這個計算代價并不是每個系統(tǒng)都能夠承受的（比如我將要構(gòu)建的一個文本分類系統(tǒng)，上萬個類，每個類即便只有20個訓練樣本，為了判斷一個新文檔的類別，也要做20萬次的向量比較?。Ｒ恍┗趉NN的改良方法比如Generalized Instance Set就在試圖解決這個問題。kNN也有另一個缺點，當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數(shù)。 SVM(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學習問題中。支持向量機方法是建立在統(tǒng)計學習理論的VC維理論和結(jié)構(gòu)風險最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復雜性（即對特定訓練樣本的學習精度，Accuracy）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力（或稱泛化能力）。SVM 方法有很堅實的理論基礎(chǔ)，SVM 訓練的本質(zhì)是解決一個二次規(guī)劃問題（Quadruple Programming，指目標函數(shù)為二次函數(shù)，約束條件為線性約束的最優(yōu)化問題），得到的是全局最優(yōu)解，這使它有著其他統(tǒng)計學習技術(shù)難以比擬的優(yōu)越性。 SVM分類器的文本分類效果很好，是最好的分類器之一。同時使用核函數(shù)將原始的樣本空間向高維空間進行變換，能夠解決原始樣本線性不可分的問題。其缺點是核函數(shù)的選擇缺乏指導，難以針對具體問題選擇最佳的核函數(shù)；另外SVM 訓練速度極大地受到訓練集規(guī)模的影響，計算開銷比較大，針對SVM 的訓練速度問題，研究者提出了很多改進方法，包括Chunking 方法、Osuna算法、SMO 算法和交互SVM 等。SVM分類器的優(yōu)點在于通用性較好，且分類精度高、分類速度快、分類速度與訓練樣本個數(shù)無關(guān)，在查準和查全率方面都略優(yōu)于kNN及樸素貝葉斯方法。