首頁 > 資訊 > 經(jīng)驗 > elu激活函數(shù)，深度學習中的主要激活函數(shù)有哪些

elu激活函數(shù)，深度學習中的主要激活函數(shù)有哪些

來源：整理時間：2023-08-31 18:15:35 編輯：智能門戶手機版

本文目錄一覽

1，深度學習中的主要激活函數(shù)有哪些
2，python relu激活函數(shù)參數(shù)是np怎么辦
3，什么是激活函數(shù)有哪些類型有什么作用哪個更好用
4，在神經(jīng)網(wǎng)絡使用elu激活函數(shù)時怎么使用交叉熵作為損失函數(shù)
5，人工神經(jīng)網(wǎng)絡常用的4個激活函數(shù)是哪些
6，神經(jīng)網(wǎng)絡中的激活函數(shù)有什么區(qū)別

1，深度學習中的主要激活函數(shù)有哪些

這其實是一種狀態(tài)壓縮或狀態(tài)轉(zhuǎn)換。模擬人類神經(jīng)元之間的信號傳遞，信號是從前一個神經(jīng)元軸突傳遞到后一個神經(jīng)元的樹突或胞體，是從電信號轉(zhuǎn)化學信號再轉(zhuǎn)電信號，激活函數(shù)就是模擬化學信號到電信號之間的轉(zhuǎn)換。

深度學習中的主要激活函數(shù)有哪些

2，python relu激活函數(shù)參數(shù)是np怎么辦

import mathdef sigmoid(x,derivate=False): if derivate: return sigmoid(x)*(1-sigmoid(x)) return 1.0 / (1+math.exp(-x)) def relu(x): if x > 0: return x else: return 0sigmoid 求導和其函數(shù)值相關

支持一下感覺挺不錯的

python relu激活函數(shù)參數(shù)是np怎么辦

3，什么是激活函數(shù)有哪些類型有什么作用哪個更好用

函數(shù)（function）表示每個輸入值對應唯一輸出值的一種對應關系。這種關系使一個集合里的每一個元素對應到另一個（可能相同的）集合里的唯一元素。函數(shù)f中對應輸入值的輸出值x的標準符號為f(x)。包含某個函數(shù)所有的輸入值的集合被稱作這個函數(shù)的定義域，包含所有的輸出值的集合被稱作值域。若先定義映射的概念，可以簡單定義函數(shù)為，定義在非空數(shù)集之間的映射稱為函數(shù)。函數(shù)的參數(shù)類型主要是用在傳遞參數(shù)的地方，當調(diào)用這個函數(shù)的時候，傳遞的參數(shù)類型必須和定義是的參數(shù)類型相匹配。否則，編譯程序會提示錯誤，

你說呢...

什么是激活函數(shù)有哪些類型有什么作用哪個更好用

4，在神經(jīng)網(wǎng)絡使用elu激活函數(shù)時怎么使用交叉熵作為損失函數(shù)

P、T矩陣均為一列為一個樣本，因此P、T的列數(shù)必須相等，否則報錯。你參考下別人的程序，我建議使用newff函數(shù)，不要弄得這么復雜。還有P、T的生成不需要那么復雜，只需要：P(i,:)=YY(i:i+2);附上newff函數(shù)的格式為：net=newff(PR,[S1S2SN],{TF1TF2TFN},BTF,BLF,PF），函數(shù)newff建立一個可訓練的前饋網(wǎng)絡。輸入?yún)?shù)說明：PR：Rx2的矩陣以定義R個輸入向量的最小值和最大值；Si：第i層神經(jīng)元個數(shù)；TFi：第i層的傳遞函數(shù)，默認函數(shù)為tansig函數(shù)；BTF：訓練函數(shù)，默認函數(shù)為trainlm函數(shù)；BLF：權值/閥值學習函數(shù)，默認函數(shù)為learngdm函數(shù)；PF：性能函數(shù)，默認函數(shù)為mse函數(shù)。

5，人工神經(jīng)網(wǎng)絡常用的4個激活函數(shù)是哪些

人工神經(jīng)網(wǎng)絡（artificial neural network，即ann ），是20世紀80 年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡。在工程與學術界也常直接簡稱為神經(jīng)網(wǎng)絡或類神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡是一種運算模型，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重，這相當于人工神經(jīng)網(wǎng)絡的記憶。網(wǎng)絡的輸出則依網(wǎng)絡的連接方式，權重值和激勵函數(shù)的不同而不同。而網(wǎng)絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。

何止3個（類）？深度的大多ReLU以及類似的，softplus是reLu軟化的產(chǎn)物； RBF的話Gaussian很常見；Sigmoif類里tanh和logistic等也很常用；實在不濟，step function也可以用。某些regression問題直接在最后層用identity function，也算是激活函數(shù)。

6，神經(jīng)網(wǎng)絡中的激活函數(shù)有什么區(qū)別

理論上講任何一個連續(xù)的非多項式、常數(shù)函數(shù)都可以做為BP的激活函數(shù)，而且這都是已經(jīng)在數(shù)學上證明過的問題。但sigmoid函數(shù)相對其他函數(shù)有它自身的優(yōu)點，比如說光滑性，魯棒性，以及在求導的時候可以用它自身的某種形式來表示。這一點在做數(shù)值試驗的時候很重要，因為權值的反向傳播，要求激活函數(shù)的導數(shù) 。多層就有多個導數(shù)，如果用一般的連續(xù)函數(shù)，這對計算機的存儲和運算都是一個問題，此外還要考慮整個模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 。但是相應的Sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結構前提下）還有就是BP在做分類問題的時候，Sigmoidal函數(shù)能比較好的執(zhí)行這一條件，關于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在IEEE trans. on neural networks 和NeuralNetworks以及Neural Computating 和Neural Computation上找到。

理論上講任何一個連續(xù)的非多項式、常數(shù)函數(shù)都可以做為bp的激活函數(shù) 而且這都是已經(jīng)在數(shù)學上證明過的問題。那么為什么一般是要選作sigmoidal函數(shù) 我認為是sigmoid函數(shù)相對其他函數(shù)有它自身的優(yōu)點比如說光滑性，魯棒性，以及在求導的時候可以用它自身的某種形式來表示這一點在做數(shù)值試驗的時候很重要，因為權值的反向傳播，要求激活函數(shù)的導數(shù) 多層就有多個導數(shù)，如果用一般的連續(xù)函數(shù)，這對計算機的存儲和運算都是一個問題此外還要考慮整個模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 但是相應的sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結構前提下）還有就是bp在做分類問題的時候，sigmoidal函數(shù)能比較好的執(zhí)行這一條件關于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在ieee trans. on neural networks 和 neural networks以及neural computating 和neural computation上找到這類問題在上個世紀90年代就已經(jīng)基本解決