常見的激勵函數(shù):sigmoid函數(shù)、tanh函數(shù)、ReLu函數(shù)、SoftMax函數(shù)等等。為什么要用relu激活功能？使用sigmod函數(shù)會導(dǎo)致將近一半的神經(jīng)元被激活，和relu函數(shù)在這方面類似，它自動引入稀疏性，相當(dāng)于無監(jiān)督的預(yù)練習(xí)，k做二進制分類，激活函數(shù)非常適合作為輸出層的激活函數(shù)，其他單元都用ReLU函數(shù)。

本文結(jié)構(gòu):梯度消失，這種現(xiàn)象經(jīng)常發(fā)生在基于梯度訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中。當(dāng)我們做反向傳播，計算損失函數(shù)對權(quán)重的梯度時，梯度隨著反向傳播越來越小，這意味著網(wǎng)絡(luò)前一層的神經(jīng)元的訓(xùn)練速度會比后面慢很多，甚至不會發(fā)生變化。網(wǎng)絡(luò)前面的一些層很重要。它們負(fù)責(zé)學(xué)習(xí)和識別簡單的模式，也是整個網(wǎng)絡(luò)的基礎(chǔ)。如果它們的結(jié)果不準(zhǔn)確，后面各層的結(jié)果也會不準(zhǔn)確。

如果參數(shù)發(fā)生變化，網(wǎng)絡(luò)的輸出值貢獻很小，那么參數(shù)的學(xué)習(xí)就很困難，需要很長時間。為了在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時使損失函數(shù)越來越小，優(yōu)化方法之一是梯度下降。梯度下降法簡單來說就是在權(quán)重的負(fù)梯度方向更新權(quán)重，如下式所示，直到梯度收斂到零。(當(dāng)然在實際過程中會通過設(shè)置一個叫做最大暴跌代數(shù)的超參數(shù)來控制。如果迭代次數(shù)太少，結(jié)果會不準(zhǔn)確。如果迭代次數(shù)太多，訓(xùn)練過程會很長。

優(yōu)點:缺點:雙曲正切函數(shù)等于雙曲正弦與雙曲余弦之比，即優(yōu)點:缺點:z為正，導(dǎo)數(shù)等于1；z為負(fù)時，導(dǎo)數(shù)等于0；當(dāng)z為0時，導(dǎo)數(shù)是未定義的。優(yōu)點:優(yōu)點:缺點:對于j1，...，K做二進制分類，激活函數(shù)非常適合作為輸出層的激活函數(shù)，其他單元都用ReLU函數(shù)。Tanh功能幾乎在所有場合都是上乘的。最常用的默認(rèn)激活函數(shù)是ReLU。如果使用線性激活函數(shù)，那么神經(jīng)網(wǎng)絡(luò)只是將輸入線性組合并輸出，并一直計算線性激活函數(shù)。還不如直接去掉所有隱藏層。

從解決最小的問題開始。ReLU族的激活函數(shù)通常是神經(jīng)網(wǎng)絡(luò)中激活函數(shù)的首選。它的優(yōu)點是漏失是防止過擬合的有效方法。這種方法的本質(zhì)是在前向傳播過程中隨機丟棄(停用)網(wǎng)絡(luò)中的一些神經(jīng)元。所謂丟棄神經(jīng)元，實際上是指當(dāng)數(shù)據(jù)流經(jīng)每個神經(jīng)元時，額外乘以一個概率p，當(dāng)p的值為0時，丟棄當(dāng)前的神經(jīng)元。隨機丟棄神經(jīng)元的意義在于使網(wǎng)絡(luò)獨立于與某個神經(jīng)元或某個神經(jīng)元結(jié)合，因為每次隨機丟棄，網(wǎng)絡(luò)都會產(chǎn)生一個新的結(jié)構(gòu)。

激活功能是什么？激活函數(shù)在神經(jīng)網(wǎng)絡(luò)* *中的作用是賦予神經(jīng)網(wǎng)絡(luò)更多的非線性因素。如果不使用激活函數(shù)，網(wǎng)絡(luò)的輸出是輸入的線性組合，相當(dāng)于最原始的感知器，網(wǎng)絡(luò)的逼近能力相當(dāng)有限。如果能引入一個合適的非線性函數(shù)作為激活函數(shù)，神經(jīng)網(wǎng)絡(luò)的逼近能力將更加強大。激活函數(shù)在學(xué)習(xí)和理解神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜和非線性函數(shù)中起著重要作用。

如果網(wǎng)絡(luò)中不使用激活函數(shù)，則網(wǎng)絡(luò)每層的輸出是上層輸入的線性組合。無論神經(jīng)網(wǎng)絡(luò)有多少層，輸出都是輸入的線性組合。如果使用，激活函數(shù)在神經(jīng)元中引入非線性因子，使得神經(jīng)網(wǎng)絡(luò)可以任意逼近任意非線性函數(shù)。此時，神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于各種非線性場景。常見的激活函數(shù)，如sigmoid、tanh、relu等。，都具有非線性的輸入輸出映射，從而可以賦予網(wǎng)絡(luò)非線性逼近能力。

在深度計算機學(xué)習(xí)中，你總會遇到一些你從未聽說過的詞匯，比如激勵函數(shù)、卷積、池化、交叉熵。剛開始可能會覺得特別陌生，一時半會兒不理解。沒關(guān)系。當(dāng)你深刻理解了這個詞背后的具體含義，你會發(fā)現(xiàn)這些詞是可以慢慢接受的(習(xí)慣就好...).通常是對一層的神經(jīng)元進行加權(quán)求和，然后將非線性方程得到的結(jié)果轉(zhuǎn)化為輸出，或者作為下一層的輸入。

激發(fā)函數(shù)的作用:通過激活函數(shù)將數(shù)據(jù)壓縮到一定的范圍內(nèi)，得到的數(shù)據(jù)大小將決定神經(jīng)元是否活躍，即是否被激活。這使得神經(jīng)網(wǎng)絡(luò)能夠更好地解決更復(fù)雜的問題。常見的激勵函數(shù):sigmoid函數(shù)、tanh函數(shù)、ReLu函數(shù)、SoftMax函數(shù)等等。我們先來看sigmoid函數(shù)表達式:sigmoid函數(shù)圖像:優(yōu)點:1。輸出結(jié)果在(0，

Reference:非線性激活函數(shù)可以使神經(jīng)網(wǎng)絡(luò)逼近任何復(fù)雜函數(shù)。沒有激活函數(shù)引入的非線性，多層神經(jīng)網(wǎng)絡(luò)相當(dāng)于單層神經(jīng)網(wǎng)絡(luò)sigmoid1，梯度消失:sigmoid函數(shù)在0和1附近是平坦的。即在0和1附近，sigmoid的梯度為0。通過sigmoid函數(shù)網(wǎng)絡(luò)反向傳播時，當(dāng)神經(jīng)元的輸出接近0和1時，神經(jīng)元的梯度趨近于0。

因此，這些神經(jīng)元的權(quán)重?zé)o法更新。而且與這些神經(jīng)元相連的神經(jīng)元的權(quán)值更新也很慢。這個問題也叫梯度消失。所以，想象一下，如果一個大的網(wǎng)絡(luò)中包含了很多在飽和動力學(xué)中具有sigmoid激活函數(shù)的神經(jīng)元，那么這個網(wǎng)絡(luò)將無法傳播回去。2.非零均值:sigmoid的輸出不是零均值。3.計算量太大:與其他非線性激活函數(shù)相比，指數(shù)函數(shù)的計算量太大。

線性模型的表達能力不夠，激活函數(shù)增加了神經(jīng)網(wǎng)絡(luò)模型的非線性，提高了神經(jīng)網(wǎng)絡(luò)模型的表達能力(數(shù)據(jù)往往是線性不可分的)。(1)sigmoid函數(shù):sigmoid函數(shù)(Logistic函數(shù))，由隱神經(jīng)元輸出，取值范圍為(0，1)，可將一個實數(shù)映射到(0，1)的區(qū)間，可分為兩類。缺點:(3)softmax函數(shù):多分類神經(jīng)網(wǎng)絡(luò)輸出:(4)LeakyReLU函數(shù):(4) Elu函數(shù):(4)MaxOut函數(shù):MaxOut是深度學(xué)習(xí)網(wǎng)絡(luò)中的一層網(wǎng)絡(luò)，是同一個池層和卷積層。Maxout可以看作是網(wǎng)絡(luò)的激活函數(shù)層，假設(shè)網(wǎng)絡(luò)某一層的輸入特征向量為:X(x1

使用sigmod函數(shù)會導(dǎo)致將近一半的神經(jīng)元被激活。不符合人腦活動工程學(xué)，和relu函數(shù)在這方面類似，它自動引入稀疏性，相當(dāng)于無監(jiān)督的預(yù)練習(xí)。增加網(wǎng)絡(luò)的非線性能力，從而擬合更多的非線性過程，ReLU可以在一定程度上防止梯度消失，但不是使用它的主要原因，主要原因是導(dǎo)數(shù)簡單。某種程度上意味著右端不會接近飽和，求導(dǎo)時導(dǎo)數(shù)不為零，所以梯度不會消失，但左端問題依然存在，如果落進去梯度就會消失。