relu函數(shù),為什么要使用relu激活函數(shù)?
常見的激勵函數(shù):sigmoid函數(shù)、tanh函數(shù)、ReLu函數(shù)、SoftMax函數(shù)等等。為什么要用relu激活功能？使用sigmod函數(shù)會導(dǎo)致將近一半的神經(jīng)元被激活，和relu函數(shù)在這方面類似，它自動引入稀疏性，相當于無監(jiān)督的預(yù)練習(xí)，k做二進制分類，激活函數(shù)非常適合作為輸出層的激活函數(shù)，其他單元都用ReLU函數(shù)。1、梯度消失問題與如何選擇激活函數(shù)本文結(jié)構(gòu):梯度消失，這種現(xiàn)象經(jīng)常發(fā)生在基于梯度訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中。當我們做反向傳播，計算損失函數(shù)對權(quán)重的梯度時，梯度隨著反向傳播越來越小，這意味著網(wǎng)絡(luò)前一層的神...
更新時間：2025-01-26標簽： 函數(shù)relu激活sigmoidtanh 全文閱讀