特征選擇:特征選擇是從原始數(shù)據(jù)中選取最相關(guān)的特征，提高模型的泛化能力和效果。特征提取和特征選擇有什么區(qū)別？分支定界法特征選擇分支定界法特征選擇:在(① ③)的情況下，用分支定界法做特征選擇需要的計(jì)算量相對較小，提取的典型技術(shù)特征有:特征選擇、特征提取、特征變換等。

提取的典型技術(shù)特征包括:特征選擇、特征提取、特征變換等。特征選擇:特征選擇是從原始數(shù)據(jù)中選取最相關(guān)的特征，提高模型的泛化能力和效果。常用的特征選擇方法有過濾、包裝、嵌入等方法。過濾方法通過計(jì)算特征與目標(biāo)變量之間的相關(guān)性或統(tǒng)計(jì)指數(shù)來選擇特征；特征提取:特征提取是將原始數(shù)據(jù)轉(zhuǎn)換成更有代表性的特征表示。常用的特征提取方法包括主成分分析(PCA)、線性判別分析(LDA)、局部敏感哈希(LSH)等。

根據(jù)決策樹算法的不同，特征選擇在信息增益、信息增益比(又稱信息增益率)和基尼系數(shù)的基礎(chǔ)上劃分為子節(jié)點(diǎn)。依次闡述如下:0。什么是信息熵？如果你沒有學(xué)過信息論等與信息論相關(guān)的書籍，乍一看，信息熵會有點(diǎn)混亂。在機(jī)器學(xué)習(xí)領(lǐng)域，信息熵的定義如下:信息熵是衡量一個(gè)樣本集純度最常用的指標(biāo)之一。假設(shè)樣本集D中的樣本數(shù)為D，有K個(gè)類別(標(biāo)簽)，其中K個(gè)類別樣本的比例為pk，則樣本集的信息熵為:①信息熵是一個(gè)與類別標(biāo)簽有關(guān)而與特征無關(guān)的量；②它實(shí)際反映的是不同類型的樣本在這個(gè)樣本集中所占的比例，也就是上面說的純度。

我們可以從最初的熵的概念說起，熵是對系統(tǒng)混沌程度的一種度量。熵越多，自然的純凈度越小。悖論在哪里？在于前面的“信息”二字。信息熵越大意味著信息量越大還是信息量越??？如果直觀的理解信息量，兩者是相反的。信息熵越大，我們能利用的信息就越少。舉個(gè)簡單的例子，樣本集d中有10個(gè)人。

/圖像-3//圖像-4/1。遙感遙感的概念、特點(diǎn)和類型遙感是在不接觸被探測目標(biāo)的情況下，利用傳感器獲取目標(biāo)數(shù)據(jù)，通過對數(shù)據(jù)的分析，獲得有關(guān)被探測目標(biāo)、區(qū)域和現(xiàn)象的有用信息?；咎匦?利用地物對電磁波的輻射和反射特性，通過接收電磁波的輻射或反射信息，可以獲得地物的特性。特征:可分為幾何特征和物理特征。幾何特征:如土壤的粗糙度、房屋的輪廓、各種植被的形狀和生長情況等。物理特性:如地物的介電常數(shù)、土壤濕度等。，是由材料本身的性質(zhì)決定的。

分支定界法特征選擇:在(① ③)的情況下，用分支定界法做特征選擇需要的計(jì)算量相對較小。①Cnd>>n(n為原特征數(shù)，d為待選特征數(shù))。②樣本多。③選取的可分性準(zhǔn)則J對特征的數(shù)量是單調(diào)的。④可分性判據(jù)J是可加的。算法分析:算法優(yōu)點(diǎn):能得到最優(yōu)解，平均速度快。因?yàn)閺淖钚∠陆绶种ч_始，每次計(jì)算完界限后，比較搜索樹上所有當(dāng)前葉節(jié)點(diǎn)的界限，找出界限最小的節(jié)點(diǎn)，就是下一個(gè)分支的節(jié)點(diǎn)。

這兩個(gè)概念目前沒有明確的定義，它們之間確實(shí)有重疊。特征提取:就是提取本質(zhì)功能、應(yīng)用、優(yōu)點(diǎn)等。從某些事物中，從特征中提取出來。特征選擇:就是從提取出來的東西中選擇自己需要的東西，從這個(gè)層面去闡述就好很多了。這兩者是直接相關(guān)的。特征選擇和特征提取通過特征是否被變換來區(qū)分。假設(shè)有100個(gè)特征需要降維，特征選擇的方法是從100個(gè)中取出10個(gè)，扔掉另外90個(gè)。特征提取就是100個(gè)特征都用上了，但是這100個(gè)特征只轉(zhuǎn)化成10個(gè)。

基于考察變量與結(jié)果關(guān)系、提高結(jié)果匹配度或減少數(shù)據(jù)量的需要，我們有時(shí)需要對數(shù)據(jù)報(bào)表中的特征或自變量進(jìn)行篩選。一般來說，數(shù)據(jù)的特征篩選有以下優(yōu)點(diǎn):需要進(jìn)行特征篩選的情況很多，比如手機(jī)尺寸、處理器、RAM、屏幕分辨率、攝像頭清晰度、材質(zhì)、品牌等特征與價(jià)格最相關(guān)的時(shí)候；例如，在研究化學(xué)譜圖中哪些峰信號被去除時(shí)，有利于提高擬合結(jié)果的r平方值；比如有一天人類懶癌爆發(fā)，我覺得26個(gè)英文字母太多了，想從數(shù)學(xué)的角度研究一下哪些字母對當(dāng)今世界的影響最小...數(shù)據(jù)類型和應(yīng)用場景千變?nèi)f化，對應(yīng)的特征篩選方法也層出不窮，下面介紹五種常用方法，供參考。