首頁 > 資訊 > 知識 > 線性分類器，為什么說近鄰法分類器是線性分類器

線性分類器，為什么說近鄰法分類器是線性分類器

來源：整理時間：2023-09-05 21:06:57 編輯：智能門戶手機版

本文目錄一覽

1，為什么說近鄰法分類器是線性分類器
2，雷達信號的分選線性分類器設(shè)計思路
3，怎么樣證明svm的分類效果比人工分類更優(yōu)
4，為什么樸素貝葉斯分類器本質(zhì)上是線性分類器
5，Support Vector Machine是什么
6，線性分類器在聯(lián)合算法當(dāng)中性能和不穩(wěn)定性如何描述

1，為什么說近鄰法分類器是線性分類器

我是模式識別老師王輝自己做答不然零分處理你是一班的智** 我記住你了！

為什么說近鄰法分類器是線性分類器

2，雷達信號的分選線性分類器設(shè)計思路

可以利用的信息是脈沖載頻、脈沖寬度、重復(fù)周期（與前一個脈沖間隔）等三個特征，即可用脈沖描述字（三維數(shù)組）對每個脈沖的特征進行描述，這三個特征均為高斯分布的隨機變量，均值和方差同學(xué)自定。用來進行設(shè)計和檢驗分類器的樣本個數(shù)同學(xué)自定

雷達信號的分選線性分類器設(shè)計思路

3，怎么樣證明svm的分類效果比人工分類更優(yōu)

理解SVM，咱們必須先弄清楚一個概念：線性分類器。給定一些數(shù)據(jù)點，它們分別屬于兩個不百同的類，現(xiàn)在要找到一個線性分類器把這些數(shù)據(jù)分成度兩類。如果用x表示數(shù)據(jù)點，用y表示類回別（y可以取1或者-1，分別代表兩個不同的類），一個線性分類器的學(xué)習(xí)目標便是要在n維的數(shù)據(jù)空間中找到一個超平面（答hyper plane），這個超平面的方程可以表示為（ wT中的T代表轉(zhuǎn)置）

搜一下：怎么樣證明svm的分類效果比人工分類更優(yōu)

怎么樣證明svm的分類效果比人工分類更優(yōu)

4，為什么樸素貝葉斯分類器本質(zhì)上是線性分類器

樸素貝葉斯分類器（Naive Bayes classifier）的樸素（Naive）之處在于，其假設(shè)了各個特征之間是獨立的。以垃圾郵件分類器為例，如果訓(xùn)練樣本中一半的垃圾郵件含有“促銷偉哥”字樣，另一半有“正品勞力士”，則樸素貝葉斯分類器認為，一個垃圾郵件同時含有“偉哥”和“勞力士”的概率是0.25。（只考慮“偉哥”和“勞力士”這兩個詞）只要是基於貝葉斯理論的分類器就可以叫貝葉斯分類器，樸素貝葉斯分類器的叫法是因為它是優(yōu)化過的一種運算性能高的算法（wikipedia 上的英語頁只給了樸素貝葉斯分類其的定義）。貝葉斯網(wǎng)絡(luò)是一種基於貝葉斯理論以 DAG 形式描述全局概率分布的一種統(tǒng)計方法，不屬於分類器的一種，主要用於貝葉斯推斷。

5，Support Vector Machine是什么

Support Vector Machine - 支持向量機，常簡稱為SVM，是一種監(jiān)督式學(xué)習(xí)的方法，可廣泛地應(yīng)用于統(tǒng)計分類以及回歸分析。支持向量機屬于一般化線性分類器，也可以被認為是提克洛夫規(guī)范化（Tikhonov Regularization）方法的一個特例。這族分類器的特點是他們能夠同時最小化經(jīng)驗誤差與最大化幾何邊緣區(qū)，因此支持向量機也被稱為最大邊緣區(qū)分類器。機的意思就是算法，機器學(xué)習(xí)領(lǐng)域里面常常用“機”這個字表示算法。支持向量意思就是數(shù)據(jù)集種的某些點，位置比較特殊，我們找這條直線的時候，一般就看聚集在一起的兩類數(shù)據(jù)，他們各自的最邊緣位置的點，也就是最靠近劃分直線的那幾個點，而其他點對這條直線的最終位置的確定起不了作用，所以我姑且叫這些點叫“支持點”（即有用的點），但是在數(shù)學(xué)上，沒這種說法，數(shù)學(xué)里的點，又可以叫向量，比如二維點（x,y）就是二維向量，三維度的就是三維向量（x,y,z)。所以“支持點”改叫“支持向量”。支持向量機構(gòu)造一個超平面或者多個超平面，這些超平面可能是高維的，甚至可能是無限多維的。在分類任務(wù)中，它的原理是，將決策面（超平面）放置在這樣的一個位置，兩類中接近這個位置的點距離的都最遠。我們來考慮兩類線性可分問題，如果要在兩個類之間畫一條線，那么按照支持向量機的原理，我們會先找兩類之間最大的空白間隔，然后在空白間隔的中點畫一條線，這條線平行于空白間隔。通過核函數(shù)，可以使得支持向量機對非線性可分的任務(wù)進行分類。一個極好的指南是C.J.C Burges的《模式識別支持向量機指南》。

6，線性分類器在聯(lián)合算法當(dāng)中性能和不穩(wěn)定性如何描述

這個問題不算很前沿，但是相當(dāng)深奧，在目前國際上存在一定爭議，接受比較廣泛的定義是一個基于實驗的研究文獻，我的答案源于翻譯的文獻，您在SCI當(dāng)中搜索線性分類器聯(lián)合算法，影響因子最大的就是它的原文。研究線性分類器聯(lián)合技術(shù)的有用性與它們的不穩(wěn)定性和訓(xùn)練樣本之間的關(guān)系，讓我們考慮一些線性分類器。最流行也是最普遍的是費希爾線性判別（FLD）和最近均值分類器（NMC），也被叫做歐氏距離分類器。標準FLD定義為：gF(x)=xwF+w0F=[X-1/2(X(1)+X(2))]S-1(X(1)-X(2))其中( wF, w0F)是線性判別函數(shù)的系數(shù)，S是p維協(xié)方差矩陣的標準最大似然估計，x是待分類的p維向量，X(i)是類別πi的樣本均值向量。注意到等式1是線性系數(shù)(w,w0)的均方誤差解：gF(x)=w?x+w0=L其中x∈X，L是理想輸出，1對應(yīng)類別π1,-1對應(yīng)類別π2。當(dāng)特征數(shù)p超過樣本n的時候，協(xié)方差矩陣的樣本估計S是不可逆的奇異陣。當(dāng)特征數(shù)p增加到n的時候，誤差的期望顯著增加。NMC定義為：gPFLD(x)=(w,w0)?(x,1)=(x,1)(X,I)-1L它是向量x和樣本均值X(i)之間的最小距離。NMC生成樣本均值的中垂線，因而生成一種類似于具有等方差高斯球分布類別的理想線性分類器。這種分類器的優(yōu)點在于它對于樣本數(shù)不是很敏感。然而，NMC不考慮方差和協(xié)方差。FLD的修正型讓我們避免了病態(tài)協(xié)方差矩陣的求逆，被稱為偽費希爾線性判別（PFLD）。在PFLD中，獲得了一種直接解法（通過增廣向量）：gPFLD(x)=(w,w0)?(x,1)=(x,1)(X,I)-1L其中(x,1)是增廣向量，(X,I)是增廣矩陣，(X,I) -1是莫奈-羅斯偽逆，給出了最低標準解。在求逆之前數(shù)據(jù)被轉(zhuǎn)換為零均值，這種方法與奇異值分解密切相關(guān)。作為一個訓(xùn)練樣本的函數(shù)來研究PFLD的性能不在此討論，對于每類的一個樣本，這種方法等價于最近均值和最近鄰準則。對于值n>p的PFLD，所有給定樣本的總距離的最大化，等價于FLD。然而，對于值n≤p的情況，偽費希爾決策找到了一個涵蓋所有數(shù)據(jù)的線性空間。在兩者之間，PFLD的普遍誤差最小，但是隨即在n=p處變?yōu)樽畲?。這可以理解為在n=p之前，PFLD可以成功的找到所有訓(xùn)練樣本的等距離超球面。得到了精確解，但是涵蓋了所有的數(shù)據(jù)誤差。在Raudys和Duin的文獻當(dāng)中，從PFLD的普遍誤差到處了一個漸進表達式，從理論上解釋了PFLD的走勢。PFLD的優(yōu)點在于它簡約明了，簡單的分類決策，以及考慮到不同的方差。然而，當(dāng)建立在邊界樣本的時候，它非常弱并且對噪聲很敏感。在這種情況下，不建議作為單一分類器來使用它。不過，由于PFLD普遍誤差的峰值現(xiàn)象，這種分類器非常的適合研究維度（樣本大?。┯绊憽Ｔ谶@里，將被用作聯(lián)合技術(shù)的基礎(chǔ)分類器。為了更好地理解聯(lián)合技術(shù)何時有益，考慮基礎(chǔ)分類器的不穩(wěn)定性。分類器的不穩(wěn)定性，通過計算原始訓(xùn)練集的引導(dǎo)副本所引起的測試集分類變動來作為衡量依據(jù)。在訓(xùn)練集中重復(fù)此過程多次（我們做到了25次），對結(jié)果求平均，可以得到一個該訓(xùn)練集分類不穩(wěn)定的估計。以這種方式定義的線性分類器平均不穩(wěn)定性（50個獨立訓(xùn)練集）。人們可以看到，當(dāng)訓(xùn)練樣本大小增加的時候分類的不穩(wěn)定性降低。分類的不穩(wěn)定性和性能之間的一個關(guān)系：更穩(wěn)定的分類比不太穩(wěn)定的執(zhí)行好。然而，在這個例子中，NMC的分類性能并不取決于訓(xùn)練樣本的大小。與其他分類相比，在大樣本的情況下，隨著穩(wěn)定性增加，它仍然是性能很差的分類器。

這種問題一般能回答的人著實是比較少.......

很好

文章TAG：線性分類器為什么說近鄰法分類器是線性分類器