首頁 > 產(chǎn)品 > 知識 > 梯度爆炸，CNN中batch normalization應該放在什么位置

梯度爆炸，CNN中batch normalization應該放在什么位置

來源：整理時間：2023-08-31 14:28:29 編輯：智能門戶手機版

本文目錄一覽

1，CNN中batch normalization應該放在什么位置
2，深度學習中 Batch Normalization為什么效果好
3，為什么deep learning 能抑制梯度消失或者爆炸的問題
4，訓練深度學習網(wǎng)絡(luò)時候出現(xiàn)Nan是什么原因怎么才能避免
5，梯度磁法勘探如何解釋
6，升降椅爆炸原因

1，CNN中batch normalization應該放在什么位置

有兩種位置。論文作者建議放在affine后面，affine-BN-非線性函數(shù)也有人發(fā)現(xiàn)，放在激活函數(shù)后面效果也不錯。

深度網(wǎng)絡(luò)層次太多后，信號和梯度越來越小，深層難以訓練。被稱作梯度彌散。也有可能越來越大，又被稱作梯度爆炸。

CNN中batch normalization應該放在什么位置

2，深度學習中 Batch Normalization為什么效果好

深度網(wǎng)絡(luò)層次太多后，信號和梯度越來越小，深層難以訓練。被稱作梯度彌散。也有可能越來越大，又被稱作梯度爆炸。batchnormalization，可以把過大或過小的信號進行歸一化。有效避免上述問題，使得深度學習網(wǎng)絡(luò)更容易訓練。所以效果好。：）

優(yōu)化文件，刪除多余的構(gòu)造歷史，把batch render設(shè)置勾選auto，或者根據(jù)機器配置設(shè)置合理的參數(shù) 查看更多答案>>

深度學習中 Batch Normalization為什么效果好

3，為什么deep learning 能抑制梯度消失或者爆炸的問題

肯定要學會神經(jīng)網(wǎng)絡(luò)啊，因為深度學習本身就是知神經(jīng)網(wǎng)絡(luò)算法，之所以叫深度學習是為了突出深度這個詞。這個深度代表很多的神經(jīng)網(wǎng)絡(luò)的層數(shù)。因為以前所說的神經(jīng)網(wǎng)道絡(luò)算法沒有好的訓練方法，最終訓練的神經(jīng)網(wǎng)絡(luò)有2到3層就是極限了，對于很多應用來說沒有實際價值。以前的主流神經(jīng)網(wǎng)絡(luò)訓練方法叫反向傳播，但是也解決不了隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加而梯度消失的問回題。在2006年由Geffry Hiton提出使用逐層貪婪預訓練的方式，使得神經(jīng)網(wǎng)絡(luò)可以高效的訓練，層數(shù)可以達到很多層，加上云計算在計算能力上的主推，使得神經(jīng)網(wǎng)答絡(luò)有了很大的實用價值。你初學的話只要知道深度學習就是神經(jīng)網(wǎng)絡(luò)，只是深度上有突破就可以了?？梢詤⒖夹∶娴奈恼隆?/section>

為什么deep learning 能抑制梯度消失或者爆炸的問題

4，訓練深度學習網(wǎng)絡(luò)時候出現(xiàn)Nan是什么原因怎么才能避免

一般最常見的原因就是log（0），做softmax很容易遇到。解決方法要看你用的框架，一般都是自動處理的

說明訓練不收斂了, 學習率太大，步子邁的太大導致梯度爆炸等都是有可能的，另外也有可能是網(wǎng)絡(luò)的問題，網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的有問題。我現(xiàn)在的采用方式是：1. 弱化場景，將你的樣本簡化，各個學習率等參數(shù)采用典型配置，比如10萬樣本都是同一張復制的，讓這個網(wǎng)絡(luò)去擬合，如果有問題，則是網(wǎng)絡(luò)的問題。否則則是各個參數(shù)的問題。2. 如果是網(wǎng)絡(luò)的問題，則通過不斷加大樣本的復雜度和調(diào)整網(wǎng)絡(luò)（調(diào)整擬合能力）來改變。3. 參數(shù)的微調(diào)，我個人感覺是在網(wǎng)絡(luò)的擬合能力和樣本的復雜度匹配的情況下，就是可以train到一定水平，然后想進行進一步優(yōu)化的時候采用。

5，梯度磁法勘探如何解釋

水平梯度測量、梯度測量主要是研究異常沿水平方向和垂直方向的變化率。水平梯度最大的地方，通常為礦體的邊界。垂直梯度增加的方向指向礦體的方向。

梯度測量分垂直梯度測量和水平梯度測量，在原質(zhì)子旋進磁力儀中，為雙探頭瞬間測量，兩個探頭的測量值相差除以兩探頭的間距（一般為0.9米），探頭沿垂直或水平方向放置。搞過重磁數(shù)據(jù)處理的都知道，垂直導數(shù)和水平導數(shù)，和數(shù)學求導一樣，(V2-V1)/(x2-x1)。其物理意義是對探測目的物的分辨能力較高而已，在磁測工作時，當要確定地質(zhì)體的邊界時，采用進行野外梯度測量。當然也可進行求導計算，兩種方法有區(qū)別，主要是誤差傳遞影響。也可對目的物的埋深進行估算?？刹殚喌厍蛭锾綌?shù)據(jù)處理手冊。在實際工作中，用的比較多的是在文物勘探上。

6，升降椅爆炸原因

市面上的升降椅使用的升降裝置分為3類———油壓、機械式和氣壓式。在低端的升降椅中以氣壓的居多。氣壓式升降椅里有個氣缸，氣缸內(nèi)的活塞氣動桿上下運動支配椅子升降，正規(guī)廠家均采用氮氣填充，濃度一般在99％以上，壓力在一兩個大氣壓左右。這種正規(guī)的升降椅，一般有三種情況可能發(fā)生爆炸：一是氮氣純度不足，在高溫環(huán)境或摩擦過于頻繁的情況下，會導致氣缸溫度驟升、壓力變大，可能發(fā)生爆炸；二是氣缸容器壁不夠堅固或是材質(zhì)差，可能發(fā)生爆炸；三是封口密封不嚴密，導致氣體迸出。有些黑廠家為壓低成本，填充的甚至是高壓空氣，更容易引起爆炸。升到最高處、低處無所謂，關(guān)鍵看質(zhì)量，是否正品。所以說，如果不是正規(guī)廠家生產(chǎn)的升降椅不要用，不怕一萬、就怕萬一。

英文說的是不要靠近太熱的東西不要拆開無法看出廠家做到四點避免爆炸業(yè)內(nèi)人士說，雖然爆炸是小概率事件，但可能性還是存在，這就需要消費者提高警惕，做到以下四點：一、務(wù)必購買正規(guī)廠家生產(chǎn)的升降椅，切勿貪圖便宜購買劣質(zhì)貨；二、椅子在使用時，不要反復升降；三、如果不是專業(yè)人士，不要拆開氣缸，也不要讓椅子靠近太熱的東西，比如烤火爐或烤箱；四、使用一段時間后，應該及時讓專業(yè)人員檢查，一旦發(fā)現(xiàn)裂痕、松動跡象，應及時維修更換。不過，這位業(yè)內(nèi)人士最后強調(diào)，正規(guī)廠家生產(chǎn)的產(chǎn)品一般不會有問題，大家還是可以放心使用的。