首頁 > 資訊 > 問答 > 神經(jīng)網(wǎng)絡(luò)激活函數(shù)，神經(jīng)網(wǎng)絡(luò)中的激勵函數(shù)是干什么用的麻煩用通俗的話講謝謝

神經(jīng)網(wǎng)絡(luò)激活函數(shù)，神經(jīng)網(wǎng)絡(luò)中的激勵函數(shù)是干什么用的麻煩用通俗的話講謝謝

來源：整理時間：2023-08-29 11:36:17 編輯：智能門戶手機版

本文目錄一覽

1，神經(jīng)網(wǎng)絡(luò)中的激勵函數(shù)是干什么用的麻煩用通俗的話講謝謝
2，深度學(xué)習(xí)中的主要激活函數(shù)有哪些
3，神經(jīng)網(wǎng)絡(luò)激勵函數(shù)的作用是什么有沒有形象的解釋
4，激活函數(shù) softmax tanh 哪個更好
5，人工神經(jīng)網(wǎng)絡(luò)常用的4個激活函數(shù)是哪些
6，神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)有什么區(qū)別

1，神經(jīng)網(wǎng)絡(luò)中的激勵函數(shù)是干什么用的麻煩用通俗的話講謝謝

翻譯為激活函數(shù)（activation function）會更好。激活函數(shù)是用來加入非線性因素的，因為線性模型的表達能力不夠。

神經(jīng)網(wǎng)絡(luò)中的激勵函數(shù)是干什么用的麻煩用通俗的話講謝謝

2，深度學(xué)習(xí)中的主要激活函數(shù)有哪些

這其實是一種狀態(tài)壓縮或狀態(tài)轉(zhuǎn)換。模擬人類神經(jīng)元之間的信號傳遞，信號是從前一個神經(jīng)元軸突傳遞到后一個神經(jīng)元的樹突或胞體，是從電信號轉(zhuǎn)化學(xué)信號再轉(zhuǎn)電信號，激活函數(shù)就是模擬化學(xué)信號到電信號之間的轉(zhuǎn)換。

深度學(xué)習(xí)中的主要激活函數(shù)有哪些

3，神經(jīng)網(wǎng)絡(luò)激勵函數(shù)的作用是什么有沒有形象的解釋

每個激勵函數(shù)類似于邏輯回歸，進行分類的

以我個人的理解，神經(jīng)網(wǎng)絡(luò)會有很多數(shù)據(jù)輸入，激活函數(shù)有兩個作用，第一是因為實際數(shù)據(jù)會有噪聲，為了讓噪聲對下一層的影響較小，采用激活函數(shù)可以抑制邊緣奇異性較大的數(shù)據(jù)，第二個作用就是對前一層輸出值進行約束，這就好比人一樣，我們的身高在1-3米之間，加入計算中計算出了一個非?？鋸埖臄?shù)，就可以用激勵函數(shù)約束（一般訓(xùn)練初時病態(tài)比較嚴重）在1-3米之間，常用的雙極型函數(shù)就是把數(shù)據(jù)都約束在-1到1的超球體內(nèi)。

神經(jīng)網(wǎng)絡(luò)激勵函數(shù)的作用是什么有沒有形象的解釋

4，激活函數(shù) softmax tanh 哪個更好

（1）對于深度神經(jīng)網(wǎng)絡(luò)，中間的隱層的輸出必須有一個激活函數(shù)。否則多個隱層的作用和沒有隱層相同。這個激活函數(shù)不一定是sigmoid，常見的有sigmoid、tanh、relu等。（2）對于二分類問題，輸出層是sigmoid函數(shù)。這是因為sigmoid函數(shù)可以把實數(shù)域光滑的映射到[0,1]空間。函數(shù)值恰好可以解釋為屬于正類的概率（概率的取值范圍是0~1）。另外，sigmoid函數(shù)單調(diào)遞增，連續(xù)可導(dǎo)，導(dǎo)數(shù)形式非常簡單，是一個比較合適的函數(shù)（3）對于多分類問題，輸出層就必須是softmax函數(shù)了。softmax函數(shù)是sigmoid函數(shù)的推廣

5，人工神經(jīng)網(wǎng)絡(luò)常用的4個激活函數(shù)是哪些

何止3個（類）？深度的大多ReLU以及類似的，softplus是reLu軟化的產(chǎn)物； RBF的話Gaussian很常見；Sigmoif類里tanh和logistic等也很常用；實在不濟，step function也可以用。某些regression問題直接在最后層用identity function，也算是激活函數(shù)。

人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，即ann ），是20世紀80 年代以來人工智能領(lǐng)域興起的研究熱點。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡(luò)進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)。在工程與學(xué)術(shù)界也常直接簡稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一種運算模型，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重，這相當于人工神經(jīng)網(wǎng)絡(luò)的記憶。網(wǎng)絡(luò)的輸出則依網(wǎng)絡(luò)的連接方式，權(quán)重值和激勵函數(shù)的不同而不同。而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。

6，神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)有什么區(qū)別

理論上講任何一個連續(xù)的非多項式、常數(shù)函數(shù)都可以做為BP的激活函數(shù)，而且這都是已經(jīng)在數(shù)學(xué)上證明過的問題。但sigmoid函數(shù)相對其他函數(shù)有它自身的優(yōu)點，比如說光滑性，魯棒性，以及在求導(dǎo)的時候可以用它自身的某種形式來表示。這一點在做數(shù)值試驗的時候很重要，因為權(quán)值的反向傳播，要求激活函數(shù)的導(dǎo)數(shù) 。多層就有多個導(dǎo)數(shù)，如果用一般的連續(xù)函數(shù)，這對計算機的存儲和運算都是一個問題，此外還要考慮整個模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 。但是相應(yīng)的Sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結(jié)構(gòu)前提下）還有就是BP在做分類問題的時候，Sigmoidal函數(shù)能比較好的執(zhí)行這一條件，關(guān)于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在IEEE trans. on neural networks 和NeuralNetworks以及Neural Computating 和Neural Computation上找到。

理論上講任何一個連續(xù)的非多項式、常數(shù)函數(shù)都可以做為bp的激活函數(shù) 而且這都是已經(jīng)在數(shù)學(xué)上證明過的問題。那么為什么一般是要選作sigmoidal函數(shù) 我認為是sigmoid函數(shù)相對其他函數(shù)有它自身的優(yōu)點比如說光滑性，魯棒性，以及在求導(dǎo)的時候可以用它自身的某種形式來表示這一點在做數(shù)值試驗的時候很重要，因為權(quán)值的反向傳播，要求激活函數(shù)的導(dǎo)數(shù) 多層就有多個導(dǎo)數(shù)，如果用一般的連續(xù)函數(shù)，這對計算機的存儲和運算都是一個問題此外還要考慮整個模型的收斂速度，我上面提到連續(xù)函數(shù)都可以做激活函數(shù) 但是相應(yīng)的sigmoidal型函數(shù)的收斂速度還是比較快的，（相同的結(jié)構(gòu)前提下）還有就是bp在做分類問題的時候，sigmoidal函數(shù)能比較好的執(zhí)行這一條件關(guān)于連續(xù)函數(shù)可以做激活函數(shù)的證明，可以在ieee trans. on neural networks 和 neural networks以及neural computating 和neural computation上找到這類問題在上個世紀90年代就已經(jīng)基本解決

文章TAG：神經(jīng)網(wǎng)絡(luò)激活函數(shù)神經(jīng)網(wǎng)絡(luò)中的激勵函數(shù)是干什么用的麻煩用通俗的話講謝謝