首頁(yè) > 產(chǎn)品 > 知識(shí) > 梯度爆炸，CNN中batch normalization應(yīng)該放在什么位置

梯度爆炸，CNN中batch normalization應(yīng)該放在什么位置

來(lái)源：整理時(shí)間：2023-08-31 14:28:29 編輯：智能門戶手機(jī)版

本文目錄一覽

1，CNN中batch normalization應(yīng)該放在什么位置
2，深度學(xué)習(xí)中 Batch Normalization為什么效果好
3，為什么deep learning 能抑制梯度消失或者爆炸的問(wèn)題
4，訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)時(shí)候出現(xiàn)Nan是什么原因怎么才能避免
5，梯度磁法勘探如何解釋
6，升降椅爆炸原因

1，CNN中batch normalization應(yīng)該放在什么位置

有兩種位置。論文作者建議放在affine后面，affine-BN-非線性函數(shù)也有人發(fā)現(xiàn)，放在激活函數(shù)后面效果也不錯(cuò)。

深度網(wǎng)絡(luò)層次太多后，信號(hào)和梯度越來(lái)越小，深層難以訓(xùn)練。被稱作梯度彌散。也有可能越來(lái)越大，又被稱作梯度爆炸。

CNN中batch normalization應(yīng)該放在什么位置

2，深度學(xué)習(xí)中 Batch Normalization為什么效果好

深度網(wǎng)絡(luò)層次太多后，信號(hào)和梯度越來(lái)越小，深層難以訓(xùn)練。被稱作梯度彌散。也有可能越來(lái)越大，又被稱作梯度爆炸。batchnormalization，可以把過(guò)大或過(guò)小的信號(hào)進(jìn)行歸一化。有效避免上述問(wèn)題，使得深度學(xué)習(xí)網(wǎng)絡(luò)更容易訓(xùn)練。所以效果好。：）

優(yōu)化文件，刪除多余的構(gòu)造歷史，把batch render設(shè)置勾選auto，或者根據(jù)機(jī)器配置設(shè)置合理的參數(shù) 查看更多答案>>

深度學(xué)習(xí)中 Batch Normalization為什么效果好

3，為什么deep learning 能抑制梯度消失或者爆炸的問(wèn)題

肯定要學(xué)會(huì)神經(jīng)網(wǎng)絡(luò)啊，因?yàn)樯疃葘W(xué)習(xí)本身就是知神經(jīng)網(wǎng)絡(luò)算法，之所以叫深度學(xué)習(xí)是為了突出深度這個(gè)詞。這個(gè)深度代表很多的神經(jīng)網(wǎng)絡(luò)的層數(shù)。因?yàn)橐郧八f(shuō)的神經(jīng)網(wǎng)道絡(luò)算法沒(méi)有好的訓(xùn)練方法，最終訓(xùn)練的神經(jīng)網(wǎng)絡(luò)有2到3層就是極限了，對(duì)于很多應(yīng)用來(lái)說(shuō)沒(méi)有實(shí)際價(jià)值。以前的主流神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法叫反向傳播，但是也解決不了隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加而梯度消失的問(wèn)回題。在2006年由Geffry Hiton提出使用逐層貪婪預(yù)訓(xùn)練的方式，使得神經(jīng)網(wǎng)絡(luò)可以高效的訓(xùn)練，層數(shù)可以達(dá)到很多層，加上云計(jì)算在計(jì)算能力上的主推，使得神經(jīng)網(wǎng)答絡(luò)有了很大的實(shí)用價(jià)值。你初學(xué)的話只要知道深度學(xué)習(xí)就是神經(jīng)網(wǎng)絡(luò)，只是深度上有突破就可以了?？梢詤⒖夹∶娴奈恼隆?/section>

為什么deep learning 能抑制梯度消失或者爆炸的問(wèn)題

4，訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)時(shí)候出現(xiàn)Nan是什么原因怎么才能避免

一般最常見(jiàn)的原因就是log（0），做softmax很容易遇到。解決方法要看你用的框架，一般都是自動(dòng)處理的

說(shuō)明訓(xùn)練不收斂了, 學(xué)習(xí)率太大，步子邁的太大導(dǎo)致梯度爆炸等都是有可能的，另外也有可能是網(wǎng)絡(luò)的問(wèn)題，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的有問(wèn)題。我現(xiàn)在的采用方式是：1. 弱化場(chǎng)景，將你的樣本簡(jiǎn)化，各個(gè)學(xué)習(xí)率等參數(shù)采用典型配置，比如10萬(wàn)樣本都是同一張復(fù)制的，讓這個(gè)網(wǎng)絡(luò)去擬合，如果有問(wèn)題，則是網(wǎng)絡(luò)的問(wèn)題。否則則是各個(gè)參數(shù)的問(wèn)題。2. 如果是網(wǎng)絡(luò)的問(wèn)題，則通過(guò)不斷加大樣本的復(fù)雜度和調(diào)整網(wǎng)絡(luò)（調(diào)整擬合能力）來(lái)改變。3. 參數(shù)的微調(diào)，我個(gè)人感覺(jué)是在網(wǎng)絡(luò)的擬合能力和樣本的復(fù)雜度匹配的情況下，就是可以train到一定水平，然后想進(jìn)行進(jìn)一步優(yōu)化的時(shí)候采用。

5，梯度磁法勘探如何解釋

水平梯度測(cè)量、梯度測(cè)量主要是研究異常沿水平方向和垂直方向的變化率。水平梯度最大的地方，通常為礦體的邊界。垂直梯度增加的方向指向礦體的方向。

梯度測(cè)量分垂直梯度測(cè)量和水平梯度測(cè)量，在原質(zhì)子旋進(jìn)磁力儀中，為雙探頭瞬間測(cè)量，兩個(gè)探頭的測(cè)量值相差除以兩探頭的間距（一般為0.9米），探頭沿垂直或水平方向放置。搞過(guò)重磁數(shù)據(jù)處理的都知道，垂直導(dǎo)數(shù)和水平導(dǎo)數(shù)，和數(shù)學(xué)求導(dǎo)一樣，(V2-V1)/(x2-x1)。其物理意義是對(duì)探測(cè)目的物的分辨能力較高而已，在磁測(cè)工作時(shí)，當(dāng)要確定地質(zhì)體的邊界時(shí)，采用進(jìn)行野外梯度測(cè)量。當(dāng)然也可進(jìn)行求導(dǎo)計(jì)算，兩種方法有區(qū)別，主要是誤差傳遞影響。也可對(duì)目的物的埋深進(jìn)行估算?？刹殚喌厍蛭锾綌?shù)據(jù)處理手冊(cè)。在實(shí)際工作中，用的比較多的是在文物勘探上。

6，升降椅爆炸原因

市面上的升降椅使用的升降裝置分為3類———油壓、機(jī)械式和氣壓式。在低端的升降椅中以氣壓的居多。氣壓式升降椅里有個(gè)氣缸，氣缸內(nèi)的活塞氣動(dòng)桿上下運(yùn)動(dòng)支配椅子升降，正規(guī)廠家均采用氮?dú)馓畛?，濃度一般?9％以上，壓力在一兩個(gè)大氣壓左右。這種正規(guī)的升降椅，一般有三種情況可能發(fā)生爆炸：一是氮?dú)饧兌炔蛔?，在高溫環(huán)境或摩擦過(guò)于頻繁的情況下，會(huì)導(dǎo)致氣缸溫度驟升、壓力變大，可能發(fā)生爆炸；二是氣缸容器壁不夠堅(jiān)固或是材質(zhì)差，可能發(fā)生爆炸；三是封口密封不嚴(yán)密，導(dǎo)致氣體迸出。有些黑廠家為壓低成本，填充的甚至是高壓空氣，更容易引起爆炸。升到最高處、低處無(wú)所謂，關(guān)鍵看質(zhì)量，是否正品。所以說(shuō)，如果不是正規(guī)廠家生產(chǎn)的升降椅不要用，不怕一萬(wàn)、就怕萬(wàn)一。

英文說(shuō)的是不要靠近太熱的東西不要拆開(kāi)無(wú)法看出廠家做到四點(diǎn) 避免爆炸業(yè)內(nèi)人士說(shuō)，雖然爆炸是小概率事件，但可能性還是存在，這就需要消費(fèi)者提高警惕，做到以下四點(diǎn)：一、務(wù)必購(gòu)買正規(guī)廠家生產(chǎn)的升降椅，切勿貪圖便宜購(gòu)買劣質(zhì)貨；二、椅子在使用時(shí)，不要反復(fù)升降；三、如果不是專業(yè)人士，不要拆開(kāi)氣缸，也不要讓椅子靠近太熱的東西，比如烤火爐或烤箱；四、使用一段時(shí)間后，應(yīng)該及時(shí)讓專業(yè)人員檢查，一旦發(fā)現(xiàn)裂痕、松動(dòng)跡象，應(yīng)及時(shí)維修更換。不過(guò)，這位業(yè)內(nèi)人士最后強(qiáng)調(diào)，正規(guī)廠家生產(chǎn)的產(chǎn)品一般不會(huì)有問(wèn)題，大家還是可以放心使用的。

文章TAG：梯度爆炸 CNN中batch normalization應(yīng)該放在什么位置