首頁 > 產(chǎn)品 > 問答 > tanh激活函數(shù)，深度學習中的主要激活函數(shù)有哪些

tanh激活函數(shù)，深度學習中的主要激活函數(shù)有哪些

來源：整理時間：2023-08-22 17:16:44 編輯：智能門戶手機版

本文目錄一覽

1，深度學習中的主要激活函數(shù)有哪些
2，激活函數(shù) softmax tanh 哪個更好
3，什么是激活函數(shù)有哪些類型有什么作用哪個更好用
4，tensorflow lstm可以換激活函數(shù)么
5，人工神經(jīng)網(wǎng)絡常用的4個激活函數(shù)是哪些
6，神經(jīng)網(wǎng)絡中的激活函數(shù)有什么區(qū)別

1，深度學習中的主要激活函數(shù)有哪些

這其實是一種狀態(tài)壓縮或狀態(tài)轉(zhuǎn)換。模擬人類神經(jīng)元之間的信號傳遞，信號是從前一個神經(jīng)元軸突傳遞到后一個神經(jīng)元的樹突或胞體，是從電信號轉(zhuǎn)化學信號再轉(zhuǎn)電信號，激活函數(shù)就是模擬化學信號到電信號之間的轉(zhuǎn)換。

深度學習中的主要激活函數(shù)有哪些

2，激活函數(shù) softmax tanh 哪個更好

（1）對于深度神經(jīng)網(wǎng)絡，中間的隱層的輸出必須有一個激活函數(shù)。否則多個隱層的作用和沒有隱層相同。這個激活函數(shù)不一定是sigmoid，常見的有sigmoid、tanh、relu等。（2）對于二分類問題，輸出層是sigmoid函數(shù)。這是因為sigmoid函數(shù)可以把實數(shù)域光滑的映射到[0,1]空間。函數(shù)值恰好可以解釋為屬于正類的概率（概率的取值范圍是0~1）。另外，sigmoid函數(shù)單調(diào)遞增，連續(xù)可導，導數(shù)形式非常簡單，是一個比較合適的函數(shù)（3）對于多分類問題，輸出層就必須是softmax函數(shù)了。softmax函數(shù)是sigmoid函數(shù)的推廣

激活函數(shù) softmax tanh 哪個更好

3，什么是激活函數(shù)有哪些類型有什么作用哪個更好用

函數(shù)（function）表示每個輸入值對應唯一輸出值的一種對應關(guān)系。這種關(guān)系使一個集合里的每一個元素對應到另一個（可能相同的）集合里的唯一元素。函數(shù)f中對應輸入值的輸出值x的標準符號為f(x)。包含某個函數(shù)所有的輸入值的集合被稱作這個函數(shù)的定義域，包含所有的輸出值的集合被稱作值域。若先定義映射的概念，可以簡單定義函數(shù)為，定義在非空數(shù)集之間的映射稱為函數(shù)。函數(shù)的參數(shù)類型主要是用在傳遞參數(shù)的地方，當調(diào)用這個函數(shù)的時候，傳遞的參數(shù)類型必須和定義是的參數(shù)類型相匹配。否則，編譯程序會提示錯誤，

你說呢...

什么是激活函數(shù)有哪些類型有什么作用哪個更好用

4，tensorflow lstm可以換激活函數(shù)么

tensorflow自帶很多激活函數(shù)可以用：tf.nn.relu()tf.nn.sigmoid()tf.nn.tanh()tf.nn.elu()tf.nn.bias_add()tf.nn.crelu()tf.nn.relu6()tf.nn.softplus()tf.nn.softsign()tf.nn.dropout()這些都是可以替換的

可以換卡。聯(lián)通和移動的可以換，但是電信卡只能用電信版的4S

可以裝xp虛擬機。微軟的官網(wǎng)上邊有下載。不要自己亂下載，不然會有很多未知問題?，F(xiàn)在較流行的是vmware7.0 。window xp pro 鏡像文件。下載好備用。（找一個“電腦瘋子”xp鏡像文件，600m的純凈版最好。）記好路徑。

5，人工神經(jīng)網(wǎng)絡常用的4個激活函數(shù)是哪些

何止3個（類）？深度的大多ReLU以及類似的，softplus是reLu軟化的產(chǎn)物； RBF的話Gaussian很常見；Sigmoif類里tanh和logistic等也很常用；實在不濟，step function也可以用。某些regression問題直接在最后層用identity function，也算是激活函數(shù)。

人工神經(jīng)網(wǎng)絡（artificial neural network，即ann ），是20世紀80 年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡。在工程與學術(shù)界也常直接簡稱為神經(jīng)網(wǎng)絡或類神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡是一種運算模型，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重，這相當于人工神經(jīng)網(wǎng)絡的記憶。網(wǎng)絡的輸出則依網(wǎng)絡的連接方式，權(quán)重值和激勵函數(shù)的不同而不同。而網(wǎng)絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。

6，神經(jīng)網(wǎng)絡中的激活函數(shù)有什么區(qū)別

理論上講任何一個連續(xù)的非多項式、常數(shù)函數(shù)都可以做為BP的激活函數(shù)，而且這都是已經(jīng)在數(shù)學上證明過的問題。但sigmoid函數(shù)相對其他函數(shù)有它自身的優(yōu)點，比如說光滑性，魯棒性，以及在求導的時候可以用它自身的某種形式來表示。這一點在做數(shù)值試驗的時候很重要，因為權(quán)值的反向傳播，要求激活函數(shù)的導數(shù) 。多層就有多個導數(shù)，如果用一般的連續(xù)函數(shù)，這對計算機的存儲和運算都是一個問題，此外還要考慮整個模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 。但是相應的Sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結(jié)構(gòu)前提下）還有就是BP在做分類問題的時候，Sigmoidal函數(shù)能比較好的執(zhí)行這一條件，關(guān)于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在IEEE trans. on neural networks 和NeuralNetworks以及Neural Computating 和Neural Computation上找到。

理論上講任何一個連續(xù)的非多項式、常數(shù)函數(shù)都可以做為bp的激活函數(shù) 而且這都是已經(jīng)在數(shù)學上證明過的問題。那么為什么一般是要選作sigmoidal函數(shù) 我認為是sigmoid函數(shù)相對其他函數(shù)有它自身的優(yōu)點比如說光滑性，魯棒性，以及在求導的時候可以用它自身的某種形式來表示這一點在做數(shù)值試驗的時候很重要，因為權(quán)值的反向傳播，要求激活函數(shù)的導數(shù) 多層就有多個導數(shù)，如果用一般的連續(xù)函數(shù)，這對計算機的存儲和運算都是一個問題此外還要考慮整個模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 但是相應的sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結(jié)構(gòu)前提下）還有就是bp在做分類問題的時候，sigmoidal函數(shù)能比較好的執(zhí)行這一條件關(guān)于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在ieee trans. on neural networks 和 neural networks以及neural computating 和neural computation上找到這類問題在上個世紀90年代就已經(jīng)基本解決

文章TAG：tanh激活函數(shù)深度學習中的主要激活函數(shù)有哪些