首頁 > 資訊 > 問答 > 神經(jīng)網(wǎng)絡(luò)激活函數(shù)，神經(jīng)網(wǎng)絡(luò)中的激勵(lì)函數(shù)是干什么用的麻煩用通俗的話講謝謝

神經(jīng)網(wǎng)絡(luò)激活函數(shù)，神經(jīng)網(wǎng)絡(luò)中的激勵(lì)函數(shù)是干什么用的麻煩用通俗的話講謝謝

來源：整理時(shí)間：2023-08-29 11:36:17 編輯：智能門戶手機(jī)版

本文目錄一覽

1，神經(jīng)網(wǎng)絡(luò)中的激勵(lì)函數(shù)是干什么用的麻煩用通俗的話講謝謝
2，深度學(xué)習(xí)中的主要激活函數(shù)有哪些
3，神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)的作用是什么有沒有形象的解釋
4，激活函數(shù) softmax tanh 哪個(gè)更好
5，人工神經(jīng)網(wǎng)絡(luò)常用的4個(gè)激活函數(shù)是哪些
6，神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)有什么區(qū)別

1，神經(jīng)網(wǎng)絡(luò)中的激勵(lì)函數(shù)是干什么用的麻煩用通俗的話講謝謝

翻譯為激活函數(shù)（activation function）會(huì)更好。激活函數(shù)是用來加入非線性因素的，因?yàn)榫€性模型的表達(dá)能力不夠。

神經(jīng)網(wǎng)絡(luò)中的激勵(lì)函數(shù)是干什么用的麻煩用通俗的話講謝謝

2，深度學(xué)習(xí)中的主要激活函數(shù)有哪些

這其實(shí)是一種狀態(tài)壓縮或狀態(tài)轉(zhuǎn)換。模擬人類神經(jīng)元之間的信號(hào)傳遞，信號(hào)是從前一個(gè)神經(jīng)元軸突傳遞到后一個(gè)神經(jīng)元的樹突或胞體，是從電信號(hào)轉(zhuǎn)化學(xué)信號(hào)再轉(zhuǎn)電信號(hào)，激活函數(shù)就是模擬化學(xué)信號(hào)到電信號(hào)之間的轉(zhuǎn)換。

深度學(xué)習(xí)中的主要激活函數(shù)有哪些

3，神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)的作用是什么有沒有形象的解釋

每個(gè)激勵(lì)函數(shù)類似于邏輯回歸，進(jìn)行分類的

以我個(gè)人的理解，神經(jīng)網(wǎng)絡(luò)會(huì)有很多數(shù)據(jù)輸入，激活函數(shù)有兩個(gè)作用，第一是因?yàn)閷?shí)際數(shù)據(jù)會(huì)有噪聲，為了讓噪聲對(duì)下一層的影響較小，采用激活函數(shù)可以抑制邊緣奇異性較大的數(shù)據(jù)，第二個(gè)作用就是對(duì)前一層輸出值進(jìn)行約束，這就好比人一樣，我們的身高在1-3米之間，加入計(jì)算中計(jì)算出了一個(gè)非常夸張的數(shù)，就可以用激勵(lì)函數(shù)約束（一般訓(xùn)練初時(shí)病態(tài)比較嚴(yán)重）在1-3米之間，常用的雙極型函數(shù)就是把數(shù)據(jù)都約束在-1到1的超球體內(nèi)。

神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)的作用是什么有沒有形象的解釋

4，激活函數(shù) softmax tanh 哪個(gè)更好

（1）對(duì)于深度神經(jīng)網(wǎng)絡(luò)，中間的隱層的輸出必須有一個(gè)激活函數(shù)。否則多個(gè)隱層的作用和沒有隱層相同。這個(gè)激活函數(shù)不一定是sigmoid，常見的有sigmoid、tanh、relu等。（2）對(duì)于二分類問題，輸出層是sigmoid函數(shù)。這是因?yàn)閟igmoid函數(shù)可以把實(shí)數(shù)域光滑的映射到[0,1]空間。函數(shù)值恰好可以解釋為屬于正類的概率（概率的取值范圍是0~1）。另外，sigmoid函數(shù)單調(diào)遞增，連續(xù)可導(dǎo)，導(dǎo)數(shù)形式非常簡單，是一個(gè)比較合適的函數(shù)（3）對(duì)于多分類問題，輸出層就必須是softmax函數(shù)了。softmax函數(shù)是sigmoid函數(shù)的推廣

5，人工神經(jīng)網(wǎng)絡(luò)常用的4個(gè)激活函數(shù)是哪些

何止3個(gè)（類）？深度的大多ReLU以及類似的，softplus是reLu軟化的產(chǎn)物； RBF的話Gaussian很常見；Sigmoif類里tanh和logistic等也很常用；實(shí)在不濟(jì)，step function也可以用。某些regression問題直接在最后層用identity function，也算是激活函數(shù)。

人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，即ann ），是20世紀(jì)80 年代以來人工智能領(lǐng)域興起的研究熱點(diǎn)。它從信息處理角度對(duì)人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。在工程與學(xué)術(shù)界也常直接簡稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由大量的節(jié)點(diǎn)（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個(gè)節(jié)點(diǎn)代表一種特定的輸出函數(shù)，稱為激勵(lì)函數(shù)（activation function）。每兩個(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對(duì)于通過該連接信號(hào)的加權(quán)值，稱之為權(quán)重，這相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵(lì)函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對(duì)自然界某種算法或者函數(shù)的逼近，也可能是對(duì)一種邏輯策略的表達(dá)。

6，神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)有什么區(qū)別

理論上講任何一個(gè)連續(xù)的非多項(xiàng)式、常數(shù)函數(shù)都可以做為BP的激活函數(shù)，而且這都是已經(jīng)在數(shù)學(xué)上證明過的問題。但sigmoid函數(shù)相對(duì)其他函數(shù)有它自身的優(yōu)點(diǎn)，比如說光滑性，魯棒性，以及在求導(dǎo)的時(shí)候可以用它自身的某種形式來表示。這一點(diǎn)在做數(shù)值試驗(yàn)的時(shí)候很重要，因?yàn)闄?quán)值的反向傳播，要求激活函數(shù)的導(dǎo)數(shù) 。多層就有多個(gè)導(dǎo)數(shù)，如果用一般的連續(xù)函數(shù)，這對(duì)計(jì)算機(jī)的存儲(chǔ)和運(yùn)算都是一個(gè)問題，此外還要考慮整個(gè)模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 。但是相應(yīng)的Sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結(jié)構(gòu)前提下）還有就是BP在做分類問題的時(shí)候，Sigmoidal函數(shù)能比較好的執(zhí)行這一條件，關(guān)于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在IEEE trans. on neural networks 和NeuralNetworks以及Neural Computating 和Neural Computation上找到。

理論上講任何一個(gè)連續(xù)的非多項(xiàng)式、常數(shù)函數(shù)都可以做為bp的激活函數(shù) 而且這都是已經(jīng)在數(shù)學(xué)上證明過的問題。那么為什么一般是要選作sigmoidal函數(shù) 我認(rèn)為是sigmoid函數(shù)相對(duì)其他函數(shù)有它自身的優(yōu)點(diǎn) 比如說光滑性，魯棒性，以及在求導(dǎo)的時(shí)候可以用它自身的某種形式來表示這一點(diǎn)在做數(shù)值試驗(yàn)的時(shí)候很重要，因?yàn)闄?quán)值的反向傳播，要求激活函數(shù)的導(dǎo)數(shù) 多層就有多個(gè)導(dǎo)數(shù)，如果用一般的連續(xù)函數(shù)，這對(duì)計(jì)算機(jī)的存儲(chǔ)和運(yùn)算都是一個(gè)問題此外還要考慮整個(gè)模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 但是相應(yīng)的sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結(jié)構(gòu)前提下）還有就是bp在做分類問題的時(shí)候，sigmoidal函數(shù)能比較好的執(zhí)行這一條件關(guān)于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在ieee trans. on neural networks 和 neural networks以及neural computating 和neural computation上找到這類問題在上個(gè)世紀(jì)90年代就已經(jīng)基本解決

文章TAG：神經(jīng)網(wǎng)絡(luò)激活函數(shù)神經(jīng)網(wǎng)絡(luò)中的激勵(lì)函數(shù)是干什么用的麻煩用通俗的話講謝謝