首頁(yè) > 產(chǎn)品 > 問(wèn)答 > tanh激活函數(shù)，深度學(xué)習(xí)中的主要激活函數(shù)有哪些

tanh激活函數(shù)，深度學(xué)習(xí)中的主要激活函數(shù)有哪些

來(lái)源：整理時(shí)間：2023-08-22 17:16:44 編輯：智能門戶手機(jī)版

本文目錄一覽

1，深度學(xué)習(xí)中的主要激活函數(shù)有哪些
2，激活函數(shù) softmax tanh 哪個(gè)更好
3，什么是激活函數(shù)有哪些類型有什么作用哪個(gè)更好用
4，tensorflow lstm可以換激活函數(shù)么
5，人工神經(jīng)網(wǎng)絡(luò)常用的4個(gè)激活函數(shù)是哪些
6，神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)有什么區(qū)別

1，深度學(xué)習(xí)中的主要激活函數(shù)有哪些

這其實(shí)是一種狀態(tài)壓縮或狀態(tài)轉(zhuǎn)換。模擬人類神經(jīng)元之間的信號(hào)傳遞，信號(hào)是從前一個(gè)神經(jīng)元軸突傳遞到后一個(gè)神經(jīng)元的樹(shù)突或胞體，是從電信號(hào)轉(zhuǎn)化學(xué)信號(hào)再轉(zhuǎn)電信號(hào)，激活函數(shù)就是模擬化學(xué)信號(hào)到電信號(hào)之間的轉(zhuǎn)換。

深度學(xué)習(xí)中的主要激活函數(shù)有哪些

2，激活函數(shù) softmax tanh 哪個(gè)更好

（1）對(duì)于深度神經(jīng)網(wǎng)絡(luò)，中間的隱層的輸出必須有一個(gè)激活函數(shù)。否則多個(gè)隱層的作用和沒(méi)有隱層相同。這個(gè)激活函數(shù)不一定是sigmoid，常見(jiàn)的有sigmoid、tanh、relu等。（2）對(duì)于二分類問(wèn)題，輸出層是sigmoid函數(shù)。這是因?yàn)閟igmoid函數(shù)可以把實(shí)數(shù)域光滑的映射到[0,1]空間。函數(shù)值恰好可以解釋為屬于正類的概率（概率的取值范圍是0~1）。另外，sigmoid函數(shù)單調(diào)遞增，連續(xù)可導(dǎo)，導(dǎo)數(shù)形式非常簡(jiǎn)單，是一個(gè)比較合適的函數(shù)（3）對(duì)于多分類問(wèn)題，輸出層就必須是softmax函數(shù)了。softmax函數(shù)是sigmoid函數(shù)的推廣

激活函數(shù) softmax tanh 哪個(gè)更好

3，什么是激活函數(shù)有哪些類型有什么作用哪個(gè)更好用

函數(shù)（function）表示每個(gè)輸入值對(duì)應(yīng)唯一輸出值的一種對(duì)應(yīng)關(guān)系。這種關(guān)系使一個(gè)集合里的每一個(gè)元素對(duì)應(yīng)到另一個(gè)（可能相同的）集合里的唯一元素。函數(shù)f中對(duì)應(yīng)輸入值的輸出值x的標(biāo)準(zhǔn)符號(hào)為f(x)。包含某個(gè)函數(shù)所有的輸入值的集合被稱作這個(gè)函數(shù)的定義域，包含所有的輸出值的集合被稱作值域。若先定義映射的概念，可以簡(jiǎn)單定義函數(shù)為，定義在非空數(shù)集之間的映射稱為函數(shù)。函數(shù)的參數(shù)類型主要是用在傳遞參數(shù)的地方，當(dāng)調(diào)用這個(gè)函數(shù)的時(shí)候，傳遞的參數(shù)類型必須和定義是的參數(shù)類型相匹配。否則，編譯程序會(huì)提示錯(cuò)誤，

你說(shuō)呢...

什么是激活函數(shù)有哪些類型有什么作用哪個(gè)更好用

4，tensorflow lstm可以換激活函數(shù)么

tensorflow自帶很多激活函數(shù)可以用：tf.nn.relu()tf.nn.sigmoid()tf.nn.tanh()tf.nn.elu()tf.nn.bias_add()tf.nn.crelu()tf.nn.relu6()tf.nn.softplus()tf.nn.softsign()tf.nn.dropout()這些都是可以替換的

可以換卡。聯(lián)通和移動(dòng)的可以換，但是電信卡只能用電信版的4S

可以裝xp虛擬機(jī)。微軟的官網(wǎng)上邊有下載。不要自己亂下載，不然會(huì)有很多未知問(wèn)題?，F(xiàn)在較流行的是vmware7.0 。window xp pro 鏡像文件。下載好備用。（找一個(gè)“電腦瘋子”xp鏡像文件，600m的純凈版最好。）記好路徑。

5，人工神經(jīng)網(wǎng)絡(luò)常用的4個(gè)激活函數(shù)是哪些

何止3個(gè)（類）？深度的大多ReLU以及類似的，softplus是reLu軟化的產(chǎn)物； RBF的話Gaussian很常見(jiàn)；Sigmoif類里tanh和logistic等也很常用；實(shí)在不濟(jì)，step function也可以用。某些regression問(wèn)題直接在最后層用identity function，也算是激活函數(shù)。

人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，即ann ），是20世紀(jì)80 年代以來(lái)人工智能領(lǐng)域興起的研究熱點(diǎn)。它從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立某種簡(jiǎn)單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。在工程與學(xué)術(shù)界也常直接簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激勵(lì)函數(shù)（activation function）。每?jī)蓚€(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過(guò)該連接信號(hào)的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。

6，神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)有什么區(qū)別

理論上講任何一個(gè)連續(xù)的非多項(xiàng)式、常數(shù)函數(shù)都可以做為BP的激活函數(shù)，而且這都是已經(jīng)在數(shù)學(xué)上證明過(guò)的問(wèn)題。但sigmoid函數(shù)相對(duì)其他函數(shù)有它自身的優(yōu)點(diǎn)，比如說(shuō)光滑性，魯棒性，以及在求導(dǎo)的時(shí)候可以用它自身的某種形式來(lái)表示。這一點(diǎn)在做數(shù)值試驗(yàn)的時(shí)候很重要，因?yàn)闄?quán)值的反向傳播，要求激活函數(shù)的導(dǎo)數(shù) 。多層就有多個(gè)導(dǎo)數(shù)，如果用一般的連續(xù)函數(shù)，這對(duì)計(jì)算機(jī)的存儲(chǔ)和運(yùn)算都是一個(gè)問(wèn)題，此外還要考慮整個(gè)模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 。但是相應(yīng)的Sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結(jié)構(gòu)前提下）還有就是BP在做分類問(wèn)題的時(shí)候，Sigmoidal函數(shù)能比較好的執(zhí)行這一條件，關(guān)于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在IEEE trans. on neural networks 和NeuralNetworks以及Neural Computating 和Neural Computation上找到。

理論上講任何一個(gè)連續(xù)的非多項(xiàng)式、常數(shù)函數(shù)都可以做為bp的激活函數(shù) 而且這都是已經(jīng)在數(shù)學(xué)上證明過(guò)的問(wèn)題。那么為什么一般是要選作sigmoidal函數(shù) 我認(rèn)為是sigmoid函數(shù)相對(duì)其他函數(shù)有它自身的優(yōu)點(diǎn) 比如說(shuō)光滑性，魯棒性，以及在求導(dǎo)的時(shí)候可以用它自身的某種形式來(lái)表示這一點(diǎn)在做數(shù)值試驗(yàn)的時(shí)候很重要，因?yàn)闄?quán)值的反向傳播，要求激活函數(shù)的導(dǎo)數(shù) 多層就有多個(gè)導(dǎo)數(shù)，如果用一般的連續(xù)函數(shù)，這對(duì)計(jì)算機(jī)的存儲(chǔ)和運(yùn)算都是一個(gè)問(wèn)題此外還要考慮整個(gè)模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 但是相應(yīng)的sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結(jié)構(gòu)前提下）還有就是bp在做分類問(wèn)題的時(shí)候，sigmoidal函數(shù)能比較好的執(zhí)行這一條件關(guān)于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在ieee trans. on neural networks 和 neural networks以及neural computating 和neural computation上找到這類問(wèn)題在上個(gè)世紀(jì)90年代就已經(jīng)基本解決

文章TAG：tanh激活函數(shù)深度學(xué)習(xí)中的主要激活函數(shù)有哪些