無監(jiān)督學(xué)習(xí)，為什么無監(jiān)督預(yù)訓(xùn)練可以幫助深度學(xué)習(xí)

來源：整理時(shí)間：2023-08-27 15:38:48 編輯：智能門戶手機(jī)版

本文目錄一覽

1，為什么無監(jiān)督預(yù)訓(xùn)練可以幫助深度學(xué)習(xí)
2，半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的區(qū)別
3，機(jī)器學(xué)習(xí)非監(jiān)督機(jī)器學(xué)習(xí)算法有哪些
4，如何有效實(shí)現(xiàn)無監(jiān)督學(xué)習(xí)
5，機(jī)器學(xué)習(xí) 一監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的區(qū)別
6，什么是無監(jiān)督學(xué)習(xí)

1，為什么無監(jiān)督預(yù)訓(xùn)練可以幫助深度學(xué)習(xí)

監(jiān)督讓學(xué)習(xí)者有心理壓力不能專心，，無監(jiān)督是一個(gè)放松的學(xué)習(xí)環(huán)境，有助記憶

為什么無監(jiān)督預(yù)訓(xùn)練可以幫助深度學(xué)習(xí)

2，半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的區(qū)別

聽他人說的：無監(jiān)督與監(jiān)督學(xué)習(xí)的區(qū)別在于一個(gè)無教學(xué)值，一個(gè)有教學(xué)值。但是，個(gè)人認(rèn)為他們的區(qū)別在于無監(jiān)督學(xué)習(xí)一般是采用聚簇等算法來分類不同樣本。而監(jiān)督學(xué)習(xí)一般是利用教學(xué)值與實(shí)際輸出值產(chǎn)生的誤差，進(jìn)行誤差反向傳播修改權(quán)值來完成網(wǎng)絡(luò)修正的。但是無監(jiān)督學(xué)習(xí)沒有反向傳播修改權(quán)值操作，當(dāng)然這里只是說的是特征提取階段。

半監(jiān)督現(xiàn)在還算比較熱門的吧。相對于監(jiān)督，它需要的訓(xùn)練數(shù)據(jù)少；相對于無監(jiān)督，效果更好。而且半監(jiān)督似乎也很符合人的學(xué)習(xí)方式。

半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的區(qū)別

3，機(jī)器學(xué)習(xí)非監(jiān)督機(jī)器學(xué)習(xí)算法有哪些

非監(jiān)督機(jī)器學(xué)習(xí)可以分為以下幾類（1）聚類：K-均值聚類、譜聚類、DBSCAN聚類、模糊聚類、GMM聚類、層次聚類等（2）降維：PCA、t-SNE、MDS等（3）其它：PageRank、SOM等詳細(xì)介紹可以參考圖書：The Elements of Statistical Learning的第14章

maxsoft作為logistics二分類的改進(jìn)版，天生適合多分類；神經(jīng)網(wǎng)絡(luò)(如bp神經(jīng)網(wǎng)絡(luò)，隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)，rbf神經(jīng)網(wǎng)絡(luò)等)；通過建立多個(gè)支持向量機(jī)或者最小二乘支持向量機(jī)分類模型，通過投票算法選擇概率最大的分類標(biāo)簽；也可以通過聚類算法(knn，kmeans等)等無監(jiān)督學(xué)習(xí)算法實(shí)現(xiàn)分類?；蛟S不太完善，歡迎補(bǔ)充。(機(jī)器學(xué)習(xí)算法與python學(xué)習(xí))

機(jī)器學(xué)習(xí)非監(jiān)督機(jī)器學(xué)習(xí)算法有哪些

4，如何有效實(shí)現(xiàn)無監(jiān)督學(xué)習(xí)

1、自主學(xué)習(xí)，要學(xué)會給自己定定目標(biāo)（大、小、長、短），這樣學(xué)習(xí)會有一個(gè)方向；然后梳理自身的學(xué)習(xí)情況，找出自己掌握的薄弱環(huán)節(jié)、存在的問題、容易丟分的知識點(diǎn)；再者合理的分配時(shí)間，有針對性的制定學(xué)習(xí)任務(wù)，一一的去落實(shí)。2、可以學(xué)習(xí)掌握速讀記憶的能力，提高學(xué)習(xí)復(fù)習(xí)效率。速讀記憶是一種高效的學(xué)習(xí)、復(fù)習(xí)方法，其訓(xùn)練原理就在于激活“腦、眼”潛能，培養(yǎng)形成眼腦直映式的閱讀、學(xué)習(xí)方式。速讀記憶的練習(xí)見《精英特全腦速讀記憶訓(xùn)練》，用軟件練習(xí)，每天一個(gè)多小時(shí)，一個(gè)月的時(shí)間，可以把閱讀速度提高5、6倍，記憶力、理解力等也會得到相應(yīng)的提高，最終提高學(xué)習(xí)、復(fù)習(xí)效率，取得好成績。如果你的閱讀、學(xué)習(xí)效率低的話，可以好好的去練習(xí)一下。3、要學(xué)會整合知識點(diǎn)。把需要學(xué)習(xí)的信息、掌握的知識分類，做成思維導(dǎo)圖或知識點(diǎn)卡片，會讓你的大腦、思維條理清醒，方便記憶、溫習(xí)、掌握。同時(shí)，要學(xué)會把新知識和已學(xué)知識聯(lián)系起來，不斷糅合、完善你的知識體系。這樣能夠促進(jìn)理解，加深記憶。4、做題的時(shí)候要學(xué)會反思、歸類、整理出對應(yīng)的解題思路。遇到錯(cuò)的題（粗心做錯(cuò)也好、不會做也罷），最好能把這些錯(cuò)題收集起來，每個(gè)科目都建立一個(gè)獨(dú)立的錯(cuò)題集（錯(cuò)題集要?dú)w類），當(dāng)我們進(jìn)行考前復(fù)習(xí)的時(shí)候，它們是重點(diǎn)復(fù)習(xí)對象，保證不再同樣的問題上再出錯(cuò)、再丟分。

5，機(jī)器學(xué)習(xí) 一監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的區(qū)別

機(jī)器學(xué)習(xí)任務(wù)根據(jù)訓(xùn)練樣本是否有l(wèi)abel，可以分為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)的訓(xùn)練樣本有l(wèi)abel，主要是學(xué)習(xí)得到一個(gè)特征空間到label的映射，如分類、回歸等無監(jiān)督學(xué)習(xí)的訓(xùn)練樣本沒有l(wèi)abel，主要是發(fā)現(xiàn)樣本的內(nèi)部結(jié)構(gòu)，如聚類、降維、可視化等

機(jī)器學(xué)習(xí)的常用方法，主要分為有監(jiān)督學(xué)習(xí)(supervised learning)和無監(jiān)督學(xué)習(xí)(unsupervised learning)。監(jiān)督學(xué)習(xí)，就是人們常說的分類，通過已有的訓(xùn)練樣本（即已知數(shù)據(jù)以及其對應(yīng)的輸出）去訓(xùn)練得到一個(gè)最優(yōu)模型（這個(gè)模型屬于某個(gè)函數(shù)的集合，最優(yōu)則表示在某個(gè)評價(jià)準(zhǔn)則下是最佳的），再利用這個(gè)模型將所有的輸入映射為相應(yīng)的輸出，對輸出進(jìn)行簡單的判斷從而實(shí)現(xiàn)分類的目的，也就具有了對未知數(shù)據(jù)進(jìn)行分類的能力。在人對事物的認(rèn)識中，我們從孩子開始就被大人們教授這是鳥啊、那是豬啊、那是房子啊，等等。我們所見到的景物就是輸入數(shù)據(jù)，而大人們對這些景物的判斷結(jié)果（是房子還是鳥啊）就是相應(yīng)的輸出。當(dāng)我們見識多了以后，腦子里就慢慢地得到了一些泛化的模型，這就是訓(xùn)練得到的那個(gè)（或者那些）函數(shù)，從而不需要大人在旁邊指點(diǎn)的時(shí)候，我們也能分辨的出來哪些是房子，哪些是鳥。監(jiān)督學(xué)習(xí)里典型的例子就是knn、svm。無監(jiān)督學(xué)習(xí)（也有人叫非監(jiān)督學(xué)習(xí)，反正都差不多）則是另一種研究的比較多的學(xué)習(xí)方法，它與監(jiān)督學(xué)習(xí)的不同之處，在于我們事先沒有任何訓(xùn)練樣本，而需要直接對數(shù)據(jù)進(jìn)行建模。這聽起來似乎有點(diǎn)不可思議，但是在我們自身認(rèn)識世界的過程中很多處都用到了無監(jiān)督學(xué)習(xí)。比如我們?nèi)⒂^一個(gè)畫展，我們完全對藝術(shù)一無所知，但是欣賞完多幅作品之后，我們也能把它們分成不同的派別（比如哪些更朦朧一點(diǎn)，哪些更寫實(shí)一些，即使我們不知道什么叫做朦朧派，什么叫做寫實(shí)派，但是至少我們能把他們分為兩個(gè)類）。無監(jiān)督學(xué)習(xí)里典型的例子就是聚類了

6，什么是無監(jiān)督學(xué)習(xí)

首先看什么是學(xué)習(xí)（learning）？一個(gè)成語就可概括：舉一反三。此處以高考為例，高考的題目在上考場前我們未必做過，但在高中三年我們做過很多很多題目，懂解題方法，因此考場上面對陌生問題也可以算出答案。機(jī)器學(xué)習(xí)的思路也類似：我們能不能利用一些訓(xùn)練數(shù)據(jù)（已經(jīng)做過的題），使機(jī)器能夠利用它們（解題方法）分析未知數(shù)據(jù)（高考的題目）？最簡單也最普遍的一類機(jī)器學(xué)習(xí)算法就是分類（classification）。對于分類，輸入的訓(xùn)練數(shù)據(jù)有特征（feature），有標(biāo)簽（label）。所謂的學(xué)習(xí)，其本質(zhì)就是找到特征和標(biāo)簽間的關(guān)系（mapping）。這樣當(dāng)有特征而無標(biāo)簽的未知數(shù)據(jù)輸入時(shí)，我們就可以通過已有的關(guān)系得到未知數(shù)據(jù)標(biāo)簽。在上述的分類過程中，如果所有訓(xùn)練數(shù)據(jù)都有標(biāo)簽，則為有監(jiān)督學(xué)習(xí)（supervised learning）。如果數(shù)據(jù)沒有標(biāo)簽，顯然就是無監(jiān)督學(xué)習(xí)（unsupervised learning）了，也即聚類（clustering）。（但有監(jiān)督學(xué)習(xí)并非全是分類，還有回歸（regression），此處不細(xì)說。）目前分類算法的效果還是不錯(cuò)的，但相對來講，聚類算法就有些慘不忍睹了。確實(shí)，無監(jiān)督學(xué)習(xí)本身的特點(diǎn)使其難以得到如分類一樣近乎完美的結(jié)果。這也正如我們在高中做題，答案（標(biāo)簽）是非常重要的，假設(shè)兩個(gè)完全相同的人進(jìn)入高中，一個(gè)正常學(xué)習(xí)，另一人做的所有題目都沒有答案，那么想必第一個(gè)人高考會發(fā)揮更好，第二個(gè)人會發(fā)瘋。