Remove 數(shù)據(jù)專注于數(shù)據(jù)哪個無關，哪個多余，這樣既降低了計算成本又不會過度適應。需要對特征進行無損規(guī)范，數(shù)學上稱為降維。廣泛應用于模式識別、文本檢索和機器學習等領域，主要分為兩類:特征提取和特征篩選。前者是高維數(shù)據(jù)被投影到低維空間，后者是特征子集代替原有的特征集，包括特征分級和特征篩選。分級是為了找到優(yōu)化的特征子集。特征提取可以分為兩種方法:線性提取和非線性提取。前者是試圖尋找一個最能解釋數(shù)據(jù)分布變化的仿射空間，后者對于高維非線性曲線的數(shù)據(jù)分布非常有效。

該算法首先調用一個權重函數(shù)得到每個特征的權重值，權重評價指標是平均準確率的下降。類型1。除了上面使用的隨機森林，還可以使用χ2、information.gain。然后得到優(yōu)化的特征子集。首先，通過50%交叉驗證來評估特征子集的重要性。爬山搜索算法從原始特征集中選擇優(yōu)化的特征子集，或者它可以選擇其他算法，例如forward.search

第二類無監(jiān)督學習問題叫做降維。下面是一些你想用降維:①數(shù)據(jù)Compression數(shù)據(jù)Compression不僅可以壓縮數(shù)據(jù)，還可以使數(shù)據(jù)占用更少的內存或者。還能加速學習算法②可視化數(shù)據(jù)不過先說一下降維是什么？舉個例子，假設我們收集了一個數(shù)據(jù) set，它有很多特征，我這里只畫兩個特征。假設，對于我們來說，這兩個特征，x_1是物體的厘米長度，另一個特征x_2是同一物體的英寸長度。

對于這兩個獨立的特征，x1和x2，它們都代表基本長度。也許我們想做的是將數(shù)據(jù)降維。衡量一個物體的長度只有一個數(shù)字。這個例子可能有點牽強，和我在業(yè)內看到的完全不一樣。如果你有成百上千的功能，你會很容易忘記你有什么功能。有時候可能會有幾個不同的工程團隊，可能一個工程團隊會給你200個特性，第二個工程團隊會給你另外300個特性，第三個工程團隊會給你500個特性。

PCA本質上是以方差最大的方向作為主要特征，數(shù)據(jù)是在各個正交方向上“解耦”的，即在不同的正交方向上不相關。方差最大的維度是主成分。PCA是一種常見的線性降維方法。高維的數(shù)據(jù)通過線性投影映射到低維的數(shù)據(jù)。期望新特征的方差在投影維度上盡可能大，方差越大，特征越有效，生成的新特征之間的相關性越小。

計算樣本的協(xié)方差矩陣，然后將協(xié)方差矩陣分解成特征值，取最大n個特征值對應的特征向量構造投影矩陣。再舉個栗子:我們舉個簡單的例子來說明PCA的過程。假設我們的數(shù)據(jù)集合有10個二維數(shù)據(jù)(2.5，2.4)，(0.5，0.7)，(2.2，2.9)，(1.9，2.2)，(3.1，3.0)。

降維是機器學習中的一個重要思想。在機器學習中，我們經常會遇到一些高維的數(shù)據(jù) sets，會占用計算機的內存和硬盤空間，降低運算速度。降維可以壓縮數(shù)據(jù)數(shù)量，加快運算速度，減少存儲空間，方便直觀觀察數(shù)據(jù)特點。PS:在降維中，我們減少的是特征類型而不是樣本數(shù)量。如果樣本數(shù)m保持不變，特征值數(shù)n將減少。一種常用的降維算法是PrincipalComponentAnalysis，簡稱PCA。

上圖是包含二維特征值的樣本集。黑叉代表樣本，紅線代表找到的低維線，綠叉是樣本投影到線上的位置。而它們的投影距離就是PCA算法需要考慮的。從上圖可以看出，PCA算法是找一條線，數(shù)學上是一個向量，使得其他樣本到向量的距離最小。推而廣之:一般來說，將特征值的維數(shù)從n降低到k就是求k個向量，使得樣本在這些向量上的投影最小。

data 降維，也稱降維。顧名思義就是降低數(shù)據(jù)的維度，數(shù)據(jù) 降維，一方面可以解決“維度災難”，緩解“信息豐富，知識貧乏”的現(xiàn)狀，降低復雜度；另一方面可以更好的認識和理解數(shù)據(jù)。到現(xiàn)在，數(shù)據(jù) 降維有很多方法，從不同的角度有不同的分類。主要的分類方法根據(jù)數(shù)據(jù)的特點可分為線性降維和非線性降維兩種，根據(jù)是否考慮或使用數(shù)據(jù)的監(jiān)測信息，可分為無監(jiān)督降維、有監(jiān)督降維和半監(jiān)督降維，根據(jù)holding 數(shù)據(jù)的結構可分為全局持有。