国产AV级电影色婷婷,中国黄色兄妹破处毛片免费看,亚洲AV丝袜熟女一区二区三区

本文目錄一覽

1，KNN算法中K是怎么決定的
2，求有關(guān)最近鄰居問題的算法
3，數(shù)字圖像中最近鄰域法是什么意思
4，什么是k最近鄰算法
5，k近鄰算法的案例介紹
6，文本分類的方法

1，KNN算法中K是怎么決定的

K最近鄰(k-Nearest Neighbour，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學(xué)習(xí)算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。

knn是函數(shù)名稱 trianx,testx，k是變量名。最后函數(shù)值賦予j數(shù)據(jù)在excel?數(shù)據(jù)大的話用循環(huán)實現(xiàn)調(diào)用函數(shù)

KNN算法中K是怎么決定的

2，求有關(guān)最近鄰居問題的算法

呵呵，可不可以設(shè)二個變量，用來存放已經(jīng)算過點的最短距離和它的坐標(biāo)，然后遍歷其它點，只要距離大于這個距離就continue，停止求這個點的距離，轉(zhuǎn)達(dá)去求下一個點的距離,遍歷結(jié)束后，就是所要的最短的距離和坐標(biāo)點，這樣算應(yīng)比你的時間復(fù)雜度要小很多

一個for語句搞定-

據(jù)我所知，計算所有點的最近鄰居有O(nlog(n))的算法如果只計算某一個點的我想至少要O(n)，除非問題還有隱含的一些特性，比如給出的所有的點已經(jīng)有序或者什么其他什么的。

給個關(guān)鍵字聚類算法呵呵.算法愛好者呀?:p

求有關(guān)最近鄰居問題的算法

3，數(shù)字圖像中最近鄰域法是什么意思

最近鄰域（nearest neighbors）中的鄰域是數(shù)學(xué)中的一個概念，指的是“以a為中心的任何開區(qū)間稱為點a的鄰域，記作U（a）”。設(shè)δ是任一正數(shù)，則開區(qū)間(a - δ, a+ δ)就是點a的一個鄰域，這個鄰域稱為點a的δ鄰域。點a稱為這鄰域的中心，δ稱為這鄰域的半徑。在各種論文中，借鑒了這個概念，比如，在圖像處理中，約定了某個像素附近的幾個像素作為該像素的鄰域空間內(nèi)的像素，對像素進行放大等處理，由于像素之間灰度有相關(guān)性，可以避免出現(xiàn)大的偏差。

顧名思義，鄰域就是相鄰的區(qū)域。比如你家鄰域就是你們樓上樓下左鄰右舍。由于像素是離散的，鄰域也就有了具體的區(qū)域。有八鄰域，有四鄰域，也有更多的區(qū)域，16,32的有的是。[1 2 3;4 x 5;6 7 8]1-8是八鄰域，2 4 7是4鄰域。不同鄰域反應(yīng)像素周邊信息，看你用到什么，選取不同鄰域進行處理。

數(shù)字圖像中最近鄰域法是什么意思

4，什么是k最近鄰算法

K最近鄰(k-Nearest Neighbor，KNN)分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學(xué)習(xí)算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近)的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對象。該方法在定類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。 KNN方法雖然從原理上也依賴于極限定理，但在類別決策時，只與極少量的相鄰樣本有關(guān)。由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合?！?　　KNN算法不僅可以用于分類，還可以用于回歸。通過找出一個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，就可以得到該樣本的屬性。更有用的方法是將不同距離的鄰居對該樣本產(chǎn)生的影響給予不同的權(quán)值(weight)，如權(quán)值與距離成正比?！≡撍惴ㄔ诜诸悤r有個主要的不足是，當(dāng)樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導(dǎo)致當(dāng)輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數(shù)。該算法只計算“最近的”鄰居樣本，某一類的樣本數(shù)量很大，那么或者這類樣本并不接近目標(biāo)樣本，或者這類樣本很靠近目標(biāo)樣本。無論怎樣，數(shù)量并不能影響運行結(jié)果?？梢圆捎脵?quán)值的方法（和該樣本距離小的鄰居權(quán)值大）來改進。　　該方法的另一個不足之處是計算量較大，因為對每一個待分類的文本都要計算它到全體已知樣本的距離，才能求得它的K個最近鄰點。目前常用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本。該算法比較適用于樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域采用這種算法比較容易產(chǎn)生誤分。

5，k近鄰算法的案例介紹

如上圖所示，有兩類不同的樣本數(shù)據(jù)，分別用藍(lán)色的小正方形和紅色的小三角形表示，而圖正中間的那個綠色的圓所標(biāo)示的數(shù)據(jù)則是待分類的數(shù)據(jù)。也就是說，現(xiàn)在，我們不知道中間那個綠色的數(shù)據(jù)是從屬于哪一類（藍(lán)色小正方形or紅色小三角形），下面，我們就要解決這個問題：給這個綠色的圓分類?！　∥覀兂Ｕf，物以類聚，人以群分，判別一個人是一個什么樣品質(zhì)特征的人，常?？梢詮乃?她身邊的朋友入手，所謂觀其友，而識其人。我們不是要判別上圖中那個綠色的圓是屬于哪一類數(shù)據(jù)么，好說，從它的鄰居下手。但一次性看多少個鄰居呢？從上圖中，你還能看到：如果K=3，綠色圓點的最近的3個鄰居是2個紅色小三角形和1個藍(lán)色小正方形，少數(shù)從屬于多數(shù)，基于統(tǒng)計的方法，判定綠色的這個待分類點屬于紅色的三角形一類。如果K=5，綠色圓點的最近的5個鄰居是2個紅色三角形和3個藍(lán)色的正方形，還是少數(shù)從屬于多數(shù)，基于統(tǒng)計的方法，判定綠色的這個待分類點屬于藍(lán)色的正方形一類。于此我們看到，當(dāng)無法判定當(dāng)前待分類點是從屬于已知分類中的哪一類時，我們可以依據(jù)統(tǒng)計學(xué)的理論看它所處的位置特征，衡量它周圍鄰居的權(quán)重，而把它歸為(或分配)到權(quán)重更大的那一類。這就是K近鄰算法的核心思想。KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對象。該方法在定類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。KNN 算法本身簡單有效，它是一種 lazy-learning 算法，分類器不需要使用訓(xùn)練集進行訓(xùn)練，訓(xùn)練時間復(fù)雜度為0。KNN 分類的計算復(fù)雜度和訓(xùn)練集中的文檔數(shù)目成正比，也就是說，如果訓(xùn)練集中文檔總數(shù)為 n，那么 KNN 的分類時間復(fù)雜度為O(n)。KNN方法雖然從原理上也依賴于極限定理，但在類別決策時，只與極少量的相鄰樣本有關(guān)。由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。K 近鄰算法使用的模型實際上對應(yīng)于對特征空間的劃分。K 值的選擇，距離度量和分類決策規(guī)則是該算法的三個基本要素： K 值的選擇會對算法的結(jié)果產(chǎn)生重大影響。K值較小意味著只有與輸入實例較近的訓(xùn)練實例才會對預(yù)測結(jié)果起作用，但容易發(fā)生過擬合；如果 K 值較大，優(yōu)點是可以減少學(xué)習(xí)的估計誤差，但缺點是學(xué)習(xí)的近似誤差增大，這時與輸入實例較遠(yuǎn)的訓(xùn)練實例也會對預(yù)測起作用，是預(yù)測發(fā)生錯誤。在實際應(yīng)用中，K 值一般選擇一個較小的數(shù)值，通常采用交叉驗證的方法來選擇最優(yōu)的 K 值。隨著訓(xùn)練實例數(shù)目趨向于無窮和 K=1 時，誤差率不會超過貝葉斯誤差率的2倍，如果K也趨向于無窮，則誤差率趨向于貝葉斯誤差率。該算法中的分類決策規(guī)則往往是多數(shù)表決，即由輸入實例的 K 個最臨近的訓(xùn)練實例中的多數(shù)類決定輸入實例的類別距離度量一般采用 Lp 距離，當(dāng)p=2時，即為歐氏距離，在度量之前，應(yīng)該將每個屬性的值規(guī)范化，這樣有助于防止具有較大初始值域的屬性比具有較小初始值域的屬性的權(quán)重過大。 KNN算法不僅可以用于分類，還可以用于回歸。通過找出一個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，就可以得到該樣本的屬性。更有用的方法是將不同距離的鄰居對該樣本產(chǎn)生的影響給予不同的權(quán)值(weight)，如權(quán)值與距離成反比。　該算法在分類時有個主要的不足是，當(dāng)樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導(dǎo)致當(dāng)輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數(shù)。該算法只計算“最近的”鄰居樣本，某一類的樣本數(shù)量很大，那么或者這類樣本并不接近目標(biāo)樣本，或者這類樣本很靠近目標(biāo)樣本。無論怎樣，數(shù)量并不能影響運行結(jié)果?？梢圆捎脵?quán)值的方法（和該樣本距離小的鄰居權(quán)值大）來改進。該方法的另一個不足之處是計算量較大，因為對每一個待分類的文本都要計算它到全體已知樣本的距離，才能求得它的K個最近鄰點。目前常用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本。該算法比較適用于樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域采用這種算法比較容易產(chǎn)生誤分。實現(xiàn) K 近鄰算法時，主要考慮的問題是如何對訓(xùn)練數(shù)據(jù)進行快速 K 近鄰搜索，這在特征空間維數(shù)大及訓(xùn)練數(shù)據(jù)容量大時非常必要。

6，文本分類的方法

文本分類問題與其它分類問題沒有本質(zhì)上的區(qū)別，其方法可以歸結(jié)為根據(jù)待分類數(shù)據(jù)的某些特征來進行匹配，當(dāng)然完全的匹配是不太可能的，因此必須（根據(jù)某種評價標(biāo)準(zhǔn)）選擇最優(yōu)的匹配結(jié)果，從而完成分類。后來人們意識到，究竟依據(jù)什么特征來判斷文本應(yīng)當(dāng)隸屬的類別這個問題，就連人類自己都不太回答得清楚，有太多所謂“只可意會，不能言傳”的東西在里面。人類的判斷大多依據(jù)經(jīng)驗以及直覺，因此自然而然的會有人想到何讓機器像人類一樣自己來通過對大量同類文檔的觀察來自己總結(jié)經(jīng)驗，作為今后分類的依據(jù)。這便是統(tǒng)計學(xué)習(xí)方法的基本思想。統(tǒng)計學(xué)習(xí)方法需要一批由人工進行了準(zhǔn)確分類的文檔作為學(xué)習(xí)的材料（稱為訓(xùn)練集，注意由人分類一批文檔比從這些文檔中總結(jié)出準(zhǔn)確的規(guī)則成本要低得多），計算機從這些文檔中挖掘出一些能夠有效分類的規(guī)則，這個過程被形象的稱為訓(xùn)練，而總結(jié)出的規(guī)則集合常常被稱為分類器。訓(xùn)練完成之后，需要對計算機從來沒有見過的文檔進行分類時，便使用這些分類器來進行。這些訓(xùn)練集包括sogou文本分類分類測試數(shù)據(jù)、中文文本分類分類語料庫，包含Arts、Literature等類別的語料文本、可用于聚類的英文文本數(shù)據(jù)集、網(wǎng)易分類文本分類文本數(shù)據(jù)、tc-corpus-train(語料庫訓(xùn)練集，適用于文本分類分類中的訓(xùn)練)、2002年中文網(wǎng)頁分類訓(xùn)練集CCT2002-v1.1等?，F(xiàn)如今，統(tǒng)計學(xué)習(xí)方法已經(jīng)成為了文本分類領(lǐng)域絕對的主流。主要的原因在于其中的很多技術(shù)擁有堅實的理論基礎(chǔ)（相比之下，知識工程方法中專家的主觀因素居多），存在明確的評價標(biāo)準(zhǔn)，以及實際表現(xiàn)良好。統(tǒng)計分類算法將樣本數(shù)據(jù)成功轉(zhuǎn)化為向量表示之后，計算機才算開始真正意義上的“學(xué)習(xí)”過程。常用的分類算法為：決策樹，Rocchio，樸素貝葉斯，神經(jīng)網(wǎng)絡(luò)，支持向量機，線性最小平方擬合，kNN，遺傳算法，最大熵，Generalized Instance Set等。在這里只挑幾個最具代表性的算法侃一侃。Rocchio算法Rocchio算法應(yīng)該算是人們思考文本分類問題時最先能想到，也最符合直覺的解決方法?；镜乃悸肥前岩粋€類別里的樣本文檔各項取個平均值（例如把所有 “體育”類文檔中詞匯“籃球”出現(xiàn)的次數(shù)取個平均值，再把“裁判”取個平均值，依次做下去），可以得到一個新的向量，形象的稱之為“質(zhì)心”，質(zhì)心就成了這個類別最具代表性的向量表示。再有新文檔需要判斷的時候，比較新文檔和質(zhì)心有多么相像（八股點說，判斷他們之間的距離）就可以確定新文檔屬不屬于這個類。稍微改進一點的Rocchio算法不僅考慮屬于這個類別的文檔（稱為正樣本），也考慮不屬于這個類別的文檔數(shù)據(jù)（稱為負(fù)樣本），計算出來的質(zhì)心盡量靠近正樣本同時盡量遠(yuǎn)離負(fù)樣本。Rocchio算法做了兩個很致命的假設(shè)，使得它的性能出奇的差。一是它認(rèn)為一個類別的文檔僅僅聚集在一個質(zhì)心的周圍，實際情況往往不是如此（這樣的數(shù)據(jù)稱為線性不可分的）；二是它假設(shè)訓(xùn)練數(shù)據(jù)是絕對正確的，因為它沒有任何定量衡量樣本是否含有噪聲的機制，因而也就對錯誤數(shù)據(jù)毫無抵抗力。不過Rocchio產(chǎn)生的分類器很直觀，很容易被人類理解，算法也簡單，還是有一定的利用價值的，常常被用來做科研中比較不同算法優(yōu)劣的基線系統(tǒng)（Base Line）。樸素貝葉斯算法貝葉斯算法關(guān)注的是文檔屬于某類別概率。文檔屬于某個類別的概率等于文檔中每個詞屬于該類別的概率的綜合表達(dá)式。而每個詞屬于該類別的概率又在一定程度上可以用這個詞在該類別訓(xùn)練文檔中出現(xiàn)的次數(shù)（詞頻信息）來粗略估計，因而使得整個計算過程成為可行的。使用樸素貝葉斯算法時，在訓(xùn)練階段的主要任務(wù)就是估計這些值。樸素貝葉斯算法的公式并不是只有一個。首先對于每一個樣本中的元素要計算先驗概率。其次要計算一個樣本對于每個分類的概率，概率最大的分類將被采納。所以其中P(d| Ci)=P(w1|Ci) P(w2|Ci) …P(wi|Ci) P(w1|Ci) …P(wm|Ci) （式1）P(w|C)=元素w在分類為C的樣本中出現(xiàn)次數(shù)/數(shù)據(jù)整理后的樣本中元素的總數(shù)(式2)這其中就蘊含著樸素貝葉斯算法最大的兩個缺陷。首先，P(d| Ci)之所以能展開成（式1）的連乘積形式，就是假設(shè)一篇文章中的各個詞之間是彼此獨立的，其中一個詞的出現(xiàn)絲毫不受另一個詞的影響（回憶一下概率論中變量彼此獨立的概念就可以知道），但這顯然不對，即使不是語言學(xué)專家的我們也知道，詞語之間有明顯的所謂“共現(xiàn)”關(guān)系，在不同主題的文章中，可能共現(xiàn)的次數(shù) 或頻率有變化，但彼此間絕對談不上獨立。其二，使用某個詞在某個類別訓(xùn)練文檔中出現(xiàn)的次數(shù)來估計P(wi|Ci)時，只在訓(xùn)練樣本數(shù)量非常多的情況下才比較準(zhǔn)確（考慮扔硬幣的問題，得通過大量觀察才能基本得出正反面出現(xiàn)的概率都是二分之一的結(jié)論，觀察次數(shù)太少時很可能得到錯誤的答案），而需要大量樣本的要求不僅給前期人工分類的工作帶來更高要求（從而成本上升），在后期由計算機處理的時候也對存儲和計算資源提出了更高的要求。但是稍有常識的技術(shù)人員都會了解，數(shù)據(jù)挖掘中占用大量時間的部分是數(shù)據(jù)整理。在數(shù)據(jù)整理階段，可以根據(jù)詞匯的情況生成字典，刪除冗余沒有意義的詞匯，對于單字和重要的詞組分開計算等等。這樣可以避免樸素貝葉斯算法的一些問題。其實真正的問題還是存在于算法對于信息熵的計算方式。樸素貝葉斯算法在很多情況下，通過專業(yè)人員的優(yōu)化，可以取得極為良好的識別效果。最為人熟悉的兩家跨國軟件公司在目前仍采用樸素貝葉斯算法作為有些軟件自然語言處理的工具算法。kNN算法最近鄰算法（kNN）：在給定新文檔后，計算新文檔特征向量和訓(xùn)練文檔集中各個文檔的向量的相似度，得到K篇與該新文檔距離最近最相似的文檔，根據(jù)這K篇文檔所屬的類別判定新文檔所屬的類別（注意這也意味著kNN算法根本沒有真正意義上的“訓(xùn)練”階段）。這種判斷方法很好的克服了Rocchio算法中無法處理線性不可分問題的缺陷，也很適用于分類標(biāo)準(zhǔn)隨時會產(chǎn)生變化的需求（只要刪除舊訓(xùn)練文檔，添加新訓(xùn)練文檔，就改變了分類的準(zhǔn)則）。kNN唯一的也可以說最致命的缺點就是判斷一篇新文檔的類別時，需要把它與現(xiàn)存的所有訓(xùn)練文檔全都比較一遍，這個計算代價并不是每個系統(tǒng)都能夠承受的（比如我將要構(gòu)建的一個文本分類系統(tǒng)，上萬個類，每個類即便只有20個訓(xùn)練樣本，為了判斷一個新文檔的類別，也要做20萬次的向量比較?。?。一些基于kNN的改良方法比如Generalized Instance Set就在試圖解決這個問題。kNN也有另一個缺點，當(dāng)樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導(dǎo)致當(dāng)輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本占多數(shù)。 SVM(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學(xué)習(xí)問題中。支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy）和學(xué)習(xí)能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力（或稱泛化能力）。SVM 方法有很堅實的理論基礎(chǔ)，SVM 訓(xùn)練的本質(zhì)是解決一個二次規(guī)劃問題（Quadruple Programming，指目標(biāo)函數(shù)為二次函數(shù)，約束條件為線性約束的最優(yōu)化問題），得到的是全局最優(yōu)解，這使它有著其他統(tǒng)計學(xué)習(xí)技術(shù)難以比擬的優(yōu)越性。 SVM分類器的文本分類效果很好，是最好的分類器之一。同時使用核函數(shù)將原始的樣本空間向高維空間進行變換，能夠解決原始樣本線性不可分的問題。其缺點是核函數(shù)的選擇缺乏指導(dǎo)，難以針對具體問題選擇最佳的核函數(shù)；另外SVM 訓(xùn)練速度極大地受到訓(xùn)練集規(guī)模的影響，計算開銷比較大，針對SVM 的訓(xùn)練速度問題，研究者提出了很多改進方法，包括Chunking 方法、Osuna算法、SMO 算法和交互SVM 等。SVM分類器的優(yōu)點在于通用性較好，且分類精度高、分類速度快、分類速度與訓(xùn)練樣本個數(shù)無關(guān)，在查準(zhǔn)和查全率方面都略優(yōu)于kNN及樸素貝葉斯方法。