强奸久久久久久久|草草浮力在线影院|手机成人无码av|亚洲精品狼友视频|国产国模精品一区|久久成人中文字幕|超碰在线视屏免费|玖玖欧洲一区二区|欧美精品无码一区|日韩无遮一区二区

首頁(yè) > 廠商 > 問(wèn)答 > 雙向lstm，為什么RNN 需要mask 輸入而CNN則不需要

雙向lstm，為什么RNN 需要mask 輸入而CNN則不需要

來(lái)源：整理 時(shí)間：2024-11-16 16:23:14 編輯：智能門戶 手機(jī)版

本文目錄一覽

1，為什么RNN 需要mask 輸入而CNN則不需要

關(guān)注問(wèn)題寫回答1 個(gè)回答默認(rèn)排序YJangoYJango日本會(huì)津大學(xué)人機(jī)界面實(shí)驗(yàn)室 博士在讀17 人贊同了該回答long dependence方面是LSTM的優(yōu)勢(shì)。比如句子“我在日本生活過(guò)五年，我可以說(shuō)流利的日語(yǔ)”， 單向LSTM可以在之前所說(shuō)內(nèi)容的基礎(chǔ)上對(duì)當(dāng)前內(nèi)容進(jìn)行判斷，可以照顧到日本與日語(yǔ)之間的關(guān)系。雙向LSTM還可以基于未來(lái)的內(nèi)容判斷當(dāng)前內(nèi)容。主要是這種判斷可以在整個(gè)句子之間進(jìn)行。同時(shí)如果用LSTM做回歸的話，輸出不需要做后續(xù)處理就非常平滑。CNN的語(yǔ)音識(shí)別的特征（feature）通常是是頻譜圖（spectrogram），類似圖片識(shí)別的處理方式。同樣也可以利用filter size，基于過(guò)去和未來(lái)的信息判斷當(dāng)前內(nèi)容。但由于size固定，long dependence方面不如LSTM。不過(guò)CNN可以同一信息用不同的feature m
我不會(huì)~~~但還是要微笑~~~：）

為什么RNN 需要mask 輸入而CNN則不需要

2，cnn和cnn與bilstm對(duì)于多分類哪個(gè)精度高

bilstm對(duì)于多分類精度高。BiLSTM：Bi-directionalLongShort-TermMemory的縮寫，是由前向LSTM與后向LSTM組合而成?？梢钥闯銎浜苓m合做上下有關(guān)系的序列標(biāo)注任務(wù)，因此在NLP中常被用來(lái)建模上下文信息。我們可以簡(jiǎn)單理解為雙向LSTM是LSTM的改進(jìn)版，LSTM是CNN的改進(jìn)版。這里簡(jiǎn)單說(shuō)一下CNN，熟悉的可以直接跳過(guò)。CNN的意思是，為了預(yù)測(cè)最后的結(jié)果，我先用第一個(gè)詞預(yù)測(cè)，當(dāng)然，只用第一個(gè)預(yù)測(cè)的預(yù)測(cè)結(jié)果肯定不精確，我把這個(gè)結(jié)果作為特征，跟第二詞一起，來(lái)預(yù)測(cè)結(jié)果；接著，我用這個(gè)新的預(yù)測(cè)結(jié)果結(jié)合第三詞，來(lái)作新的預(yù)測(cè)；然后重復(fù)這個(gè)過(guò)程；直到最后一個(gè)詞。這樣，如果輸入有n個(gè)詞，那么我們事實(shí)上對(duì)結(jié)果作了n次預(yù)測(cè)，給出了n個(gè)預(yù)測(cè)序列。整個(gè)過(guò)程中，模型共享一組參數(shù)。因此，CNN降低了模型的參數(shù)數(shù)目，防止了過(guò)擬合，同時(shí)，它生來(lái)就是為處理序列問(wèn)題而設(shè)計(jì)的，因此，特別適合處理序列問(wèn)題。LSTM對(duì)CNN做了改進(jìn)，使得其能夠捕捉更長(zhǎng)距離的信息。但是不管是LSTM還是CNN，都有一個(gè)問(wèn)題，它是從左往右推進(jìn)的，因此后面的詞會(huì)比前面的詞更重要。因此出現(xiàn)了雙向LSTM，它從左到右做一次LSTM，然后從右到左做一次LSTM，然后把兩次結(jié)果組合起來(lái)。

cnn和cnn與bilstm對(duì)于多分類哪個(gè)精度高

3，rnn通常是采用什么方式對(duì)句子進(jìn)行向量化

關(guān)注問(wèn)題寫回答1 個(gè)回答默認(rèn)排序YJangoYJango日本會(huì)津大學(xué)人機(jī)界面實(shí)驗(yàn)室 博士在讀17 人贊同了該回答long dependence方面是LSTM的優(yōu)勢(shì)。比如句子“我在日本生活過(guò)五年，我可以說(shuō)流利的日語(yǔ)”， 單向LSTM可以在之前所說(shuō)內(nèi)容的基礎(chǔ)上對(duì)當(dāng)前內(nèi)容進(jìn)行判斷，可以照顧到日本與日語(yǔ)之間的關(guān)系。雙向LSTM還可以基于未來(lái)的內(nèi)容判斷當(dāng)前內(nèi)容。主要是這種判斷可以在整個(gè)句子之間進(jìn)行。同時(shí)如果用LSTM做回歸的話，輸出不需要做后續(xù)處理就非常平滑。CNN的語(yǔ)音識(shí)別的特征（feature）通常是是頻譜圖（spectrogram），類似圖片識(shí)別的處理方式。同樣也可以利用filter size，基于過(guò)去和未來(lái)的信息判斷當(dāng)前內(nèi)容。但由于size固定，long dependence方面不如LSTM。不過(guò)CNN可以同一信息用不同的feature m
我不會(huì)~~~但還是要微笑~~~：）

rnn通常是采用什么方式對(duì)句子進(jìn)行向量化

4，人工智能技術(shù)能夠解決商業(yè)問(wèn)題的例子有哪些

人工智能技術(shù)可以解決的商業(yè)問(wèn)題其實(shí)有很多的，比如有：1、智能客服，智能客服主要的工作就是在人工換班或者是等待人太多的時(shí)候?yàn)榭蛻艚鉀Q問(wèn)題的。2、智能機(jī)器人，因?yàn)檫@種機(jī)器人是擁有簡(jiǎn)單的智力并且可以自己移動(dòng)，所以這種機(jī)器人可以做的工作非常多，比如可以提醒我們做一些事情，可以幫助做一些家務(wù)等等。3、智能機(jī)械，現(xiàn)在工廠中為了避免出現(xiàn)疲勞工作，進(jìn)而發(fā)生事故的情況，會(huì)使用一些智能的機(jī)械來(lái)代替人工工作，不但可以長(zhǎng)期的工作，不知疲勞，還可以保證合格率。實(shí)際上，人工智能技術(shù)可以做的事情有很多，不過(guò)由于現(xiàn)在還有一些沒(méi)有實(shí)現(xiàn)，所以在這里就不多介紹了，不過(guò)隨著人工智能的慢慢發(fā)展，不斷的研究，相信在以后會(huì)有更多的智能產(chǎn)品，來(lái)給人們的生活帶來(lái)更多的體驗(yàn)。那下面就分享一些人工智能的知識(shí)，希望可以讓大家更了解人工智能。首先從自然語(yǔ)言處理原理到進(jìn)階實(shí)戰(zhàn)的詞向量與詞嵌入方面來(lái)看TFIDF、Word2Vec算法、 Gensim模塊、Skip-gram、TF代碼實(shí)現(xiàn)Word2Vec算法項(xiàng)目、FastText、Word Embedding、深度學(xué)習(xí)用戶畫像項(xiàng)目。然后從自然語(yǔ)言處理原理到進(jìn)階實(shí)戰(zhàn)的循環(huán)神經(jīng)網(wǎng)絡(luò)原理與優(yōu)化方面來(lái)看有Vanilla RNN、Basic RNN實(shí)現(xiàn)MNIST手寫數(shù)字圖片識(shí)別、LSTM長(zhǎng)短時(shí)記憶、GRU與雙向LSTM、電影評(píng)論情感分析案例、Seq2Seq、機(jī)器寫唐詩(shī)案例、CNN+LSTM+CRF、POS tagging詞性標(biāo)注案例、 NER命名實(shí)體識(shí)別案例、 孿生網(wǎng)絡(luò)、語(yǔ)義相似度分析案例。最后從自然語(yǔ)言處理原理到進(jìn)階實(shí)戰(zhàn)的Transformer和Bert方面來(lái)看有Attention注意力機(jī)制、Attention算法流程、Transformer、Self-Attention機(jī)制、Multi-Head Attention、Bert、Bert as service開源項(xiàng)目。還有概率圖模型算法的貝葉斯分類有樸素貝葉斯分類器、拉普拉斯估計(jì)代碼實(shí)戰(zhàn)垃圾郵件分類；HMM算法有馬爾可夫過(guò)程、初始概率、轉(zhuǎn)移概率、發(fā)射概率、 隱含馬爾可夫模型原理、維特比算法；最大熵模型有熵、條件熵、相對(duì)熵、互信息、最大熵模型算法原理、有約束條件的函數(shù)最優(yōu)化問(wèn)題、最大熵和最大似然估計(jì)關(guān)系、IIS算法；CRF算法有條件隨機(jī)場(chǎng)的性質(zhì)條件隨機(jī)場(chǎng)的判別函數(shù)條件隨機(jī)場(chǎng)的學(xué)習(xí)條件隨機(jī)場(chǎng)的推斷CRF與HMM關(guān)系。

5，在做語(yǔ)音識(shí)別時(shí)RNN和CNN各有什么優(yōu)缺點(diǎn)

關(guān)注問(wèn)題寫回答1 個(gè)回答默認(rèn)排序YJangoYJango日本會(huì)津大學(xué)人機(jī)界面實(shí)驗(yàn)室 博士在讀17 人贊同了該回答long dependence方面是LSTM的優(yōu)勢(shì)。比如句子“我在日本生活過(guò)五年，我可以說(shuō)流利的日語(yǔ)”， 單向LSTM可以在之前所說(shuō)內(nèi)容的基礎(chǔ)上對(duì)當(dāng)前內(nèi)容進(jìn)行判斷，可以照顧到日本與日語(yǔ)之間的關(guān)系。雙向LSTM還可以基于未來(lái)的內(nèi)容判斷當(dāng)前內(nèi)容。主要是這種判斷可以在整個(gè)句子之間進(jìn)行。同時(shí)如果用LSTM做回歸的話，輸出不需要做后續(xù)處理就非常平滑。CNN的語(yǔ)音識(shí)別的特征（feature）通常是是頻譜圖（spectrogram），類似圖片識(shí)別的處理方式。同樣也可以利用filter size，基于過(guò)去和未來(lái)的信息判斷當(dāng)前內(nèi)容。但由于size固定，long dependence方面不如LSTM。不過(guò)CNN可以同一信息用不同的feature m
沙特阿拉伯國(guó)王什么時(shí)候來(lái)北京坊間再看看別人怎么說(shuō)的。

6，序列標(biāo)注任務(wù)常用方法

HMM 中，有5個(gè)基本元素： 序列標(biāo)志任務(wù)(NER) 對(duì)其的概念定義為： 而以上的這些元素，都是可以從訓(xùn)練語(yǔ)料集中統(tǒng)計(jì)出來(lái)的。最后根據(jù)這些統(tǒng)計(jì)值，應(yīng)用 維特比(viterbi) 算法，算出詞語(yǔ)序列背后的標(biāo)注序列了，命名實(shí)體識(shí)別本質(zhì)上就是序列標(biāo)注，只需要定義好對(duì)應(yīng)的標(biāo)簽以及模式串，就可以從標(biāo)注序列中提取出實(shí)體 假設(shè)對(duì)于t時(shí)刻的一個(gè)詞 公式就可寫作: 齊次馬爾科夫性假設(shè)：隱藏的馬爾科夫鏈在任意時(shí)刻t的狀態(tài)只依賴于其前一時(shí)刻的狀態(tài)，與其他時(shí)刻的狀態(tài)及觀測(cè)無(wú)關(guān)，也與時(shí)刻t無(wú)關(guān) 觀測(cè)獨(dú)立性假設(shè)：假設(shè)任意時(shí)刻的觀測(cè)只依賴于該時(shí)刻的馬爾科夫鏈的狀態(tài)，與其他觀測(cè)即狀態(tài)無(wú)關(guān).觀測(cè)概率的公式可以表達(dá)如下: 將發(fā)射概率和轉(zhuǎn)移概率相結(jié)合,得到整個(gè)句子最后的公式: 相對(duì)于HMM，CRF有兩個(gè)優(yōu)勢(shì) 令 是觀測(cè)序列， 是狀態(tài)序列， 是 CRF 模型的參數(shù)，則 的條件概率是： 其中 是 CRF 特征函數(shù)集，加上正則化項(xiàng)，在做對(duì)數(shù)變換就得到 CRF 訓(xùn)練的目的是求解令 最大化的 應(yīng)用于NER中的BiLSTM-CRF模型主要由Embedding層（主要有詞向量，字向量以及一些額外特征），雙向LSTM層，以及最后的CRF層構(gòu)成。 實(shí)驗(yàn)結(jié)果表明biLSTM-CRF已經(jīng)達(dá)到或者超過(guò)了基于豐富特征的CRF模型，成為目前基于深度學(xué)習(xí)的NER方法中的最主流模型。 在特征方面，該模型繼承了深度學(xué)習(xí)方法的優(yōu)勢(shì)，無(wú)需特征工程，使用詞向量以及字符向量就可以達(dá)到很好的效果，如果有高質(zhì)量的詞典特征，能夠進(jìn)一步獲得提高 正常 CNN 的filter，都是作用在輸入矩陣一片連續(xù)的區(qū)域上，不斷sliding做卷積。 dilated CNN 為這個(gè)filter增加了一個(gè) dilation width ，作用在輸入矩陣的時(shí)候，會(huì)skip所有 dilation width 中間的輸入數(shù)據(jù)；而filter本身的大小保持不變，這樣filter獲取到了更廣闊的輸入矩陣上的數(shù)據(jù)， 看上去就像是膨脹了一般。 具體使用時(shí)， dilated width 會(huì)隨著層數(shù)的增加而指數(shù)增加。這樣隨著層數(shù)的增加，參數(shù)數(shù)量是線性增加的，而 receptive field 卻是指數(shù)增加的，可以很快覆蓋到全部的輸入數(shù)據(jù)。 圖中可見感受域是以指數(shù)速率擴(kuò)大的。原始感受域是位于中心點(diǎn)的1x1區(qū)域： 對(duì)應(yīng)在文本上，輸入是一個(gè)一維的向量，每個(gè)元素是一個(gè) character embedding ： IDCNN 對(duì)輸入句子的每一個(gè)字生成一個(gè) logits ，這里就和 BiLSTM 模型輸出 logits 完全一樣，加入 CRF 層，用 Viterbi 算法解碼出標(biāo)注結(jié)果，在 BiLSTM 或者 IDCNN 這樣的網(wǎng)絡(luò)模型末端接上 CRF 層是序列標(biāo)注的一個(gè)很常見的方法。 BiLSTM 或者 IDCNN 計(jì)算出的是每個(gè)詞的各標(biāo)簽概率，而 CRF 層引入序列的轉(zhuǎn)移概率，最終計(jì)算出loss反饋回網(wǎng)絡(luò) BERT模型+全連接層 ：BERT的encoding vector通過(guò) FC layer 映射到標(biāo)簽集合后，單個(gè)token的output vector經(jīng)過(guò)Softmax處理，每一維度的數(shù)值就表示該token的詞性為某一詞性的概率?；诖藬?shù)據(jù)便可計(jì)算loss并訓(xùn)練模型。但根據(jù) BiLSTM+CRF 模型的啟發(fā)，在 BERT+FC layer 的基礎(chǔ)上增加 CRF layer 加入一些約束來(lái)保證最終的預(yù)測(cè)結(jié)果是有效的。這些約束可以在訓(xùn)練數(shù)據(jù)時(shí)被CRF層自動(dòng)學(xué)習(xí)得到，從而減少預(yù)測(cè)錯(cuò)誤的概率 BiLSTM+CRF 優(yōu)點(diǎn)是泛化能力強(qiáng)；缺點(diǎn)是 需要大量的標(biāo)注樣本 。在樣本很少的情況下，效果會(huì)很不理想。為了更快速地實(shí)現(xiàn)一個(gè)實(shí)體提取器，提高系統(tǒng)易用性，可以采用 遷移學(xué)習(xí) 的思想，在先驗(yàn)知識(shí)的基礎(chǔ)上進(jìn)行模型訓(xùn)練，從而使用 BERT+BiLSTM+CRF 同樣的，輸入是wordPiece tokenizer得到的 tokenid ，進(jìn)入Bert預(yù)訓(xùn)練模型抽取豐富的文本特征得到 的輸出向量，輸出向量過(guò) BiLSTM 從中提取實(shí)體識(shí)別所需的特征，得到 的向量，最終進(jìn)入 CRF 層進(jìn)行解碼，計(jì)算最優(yōu)的標(biāo)注序列 NLP新人，歡迎大家一起交流，互相學(xué)習(xí)，共同成長(zhǎng)~~

7，營(yíng)業(yè)執(zhí)照封塑怎么去除

制作需要的水印圖片，獲取相應(yīng)的水印信息，如傾斜，大小比率，顏色，圖片中水印與水印的距離等。收集相應(yīng)的沒(méi)有水印的營(yíng)業(yè)執(zhí)照?qǐng)D片； b．搭建pix2pixhd模型，修改相應(yīng)訓(xùn)練參數(shù)； c．對(duì)于輸入的圖像，添加水印合成模塊，設(shè)置透明度，傾斜等信息,將制作好的水印覆蓋到圖片相應(yīng)的位置； d．執(zhí)行網(wǎng)絡(luò)，得到輸出圖片，計(jì)算損失函數(shù)值，更新網(wǎng)絡(luò)； e．重復(fù)c,d步驟，直至網(wǎng)絡(luò)收斂，訓(xùn)練完成； 圖片文字塊檢測(cè) ? a．采用vgg-16網(wǎng)絡(luò)提取特征； b. 類別的標(biāo)定：雙向lstm層判斷是否為文字塊rpn_score，并獲取與真實(shí)文字塊距離的信息rpn_bbox； c.通過(guò)rpn_score及rpn_bbox信息獲取圖片中文字塊的信息; 圖片文字塊識(shí)別 a.訓(xùn)練樣本的生成，收集營(yíng)業(yè)執(zhí)照?qǐng)D片，利用ctpn算法檢測(cè)到文字塊區(qū)域，利用邊緣檢 測(cè)算法檢測(cè)到圖片邊緣及非平滑區(qū)域。將這兩種區(qū)域的像素點(diǎn)用周圍范圍內(nèi)的非該區(qū)域的點(diǎn)的平均值替換掉，左右寫入文字的背景圖片；； b．特征提取,5conv+3maxpooling+3bn,利用卷積獲取局部信息，在更高層將局部的信息綜合起來(lái)就得到了全局的信息；利用pooling進(jìn)行降維操作； c．序列的標(biāo)定：雙向lstm層獲得屬于每個(gè)類別的概率； d．翻譯層：去除重復(fù)的識(shí)別結(jié)果及非字符； 圖像去水印效果圖: ??????
剪刀把邊緣剪開然后拿壁紙刀一劃就開了。

8，神經(jīng)網(wǎng)絡(luò)的來(lái)源

神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五、六十年代，當(dāng)時(shí)叫 感知機(jī) （perceptron），包含有輸入層、輸出層和一個(gè)隱藏層。輸入的特征向量通過(guò)隱藏層變換到達(dá)輸出層，由輸出層得到分類結(jié)果。但早期的單層感知機(jī)存在一個(gè)嚴(yán)重的問(wèn)題——它對(duì)稍微復(fù)雜一些的函數(shù)都無(wú)能為力（如異或操作）。直到上世紀(jì)八十年代才被Hition、Rumelhart等人發(fā)明的多層感知機(jī)克服，就是具有多層隱藏層的感知機(jī)。 多層感知機(jī)可以擺脫早期離散傳輸函數(shù)的束縛，使用sigmoid或tanh等連續(xù)函數(shù)模擬神經(jīng)元對(duì)激勵(lì)的響應(yīng)，在訓(xùn)練算法上則使用Werbos發(fā)明的反向傳播BP算法。這就是現(xiàn)在所說(shuō)的神經(jīng)網(wǎng)絡(luò)NN。 神經(jīng)網(wǎng)絡(luò)的層數(shù)直接決定了它對(duì)現(xiàn)實(shí)的刻畫能力 ——利用每層更少的神經(jīng)元擬合更加復(fù)雜的函數(shù)。但問(wèn)題出現(xiàn)了——隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加深， 優(yōu)化函數(shù)越來(lái)越容易陷入局部最優(yōu)解 ，并且這個(gè)“陷阱”越來(lái)越偏離真正的全局最優(yōu)。利用有限數(shù)據(jù)訓(xùn)練的深層網(wǎng)絡(luò)，性能還不如較淺層網(wǎng)絡(luò)。同時(shí)，另一個(gè)不可忽略的問(wèn)題是隨著網(wǎng)絡(luò)層數(shù)增加， “梯度消失”現(xiàn)象更加嚴(yán)重 。（具體來(lái)說(shuō)，我們常常使用sigmoid作為神經(jīng)元的輸入輸出函數(shù)。對(duì)于幅度為1的信號(hào)，在BP反向傳播梯度時(shí)，每傳遞一層，梯度衰減為原來(lái)的0.25。層數(shù)一多，梯度指數(shù)衰減后低層基本上接受不到有效的訓(xùn)練信號(hào)。） 2006年，Hition提出了深度學(xué)習(xí)的概念，引發(fā)了深度學(xué)習(xí)的熱潮。具體是利用預(yù)訓(xùn)練的方式緩解了局部最優(yōu)解的問(wèn)題，將隱藏層增加到了7層，實(shí)現(xiàn)了真正意義上的“深度”。 DNN形成 為了克服梯度消失，ReLU、maxout等傳輸函數(shù)代替了sigmoid，形成了如今DNN的基本形式。結(jié)構(gòu)跟多層感知機(jī)一樣，如下圖所示： 我們看到 全連接DNN的結(jié)構(gòu)里下層神經(jīng)元和所有上層神經(jīng)元都能夠形成連接，從而導(dǎo)致參數(shù)數(shù)量膨脹 。假設(shè)輸入的是一幅像素為1K*1K的圖像，隱含層有1M個(gè)節(jié)點(diǎn)，光這一層就有10^12個(gè)權(quán)重需要訓(xùn)練，這不僅容易過(guò)擬合，而且極容易陷入局部最優(yōu)。 CNN形成 由于圖像中存在固有的局部模式（如人臉中的眼睛、鼻子、嘴巴等），所以將圖像處理和神將網(wǎng)絡(luò)結(jié)合引出卷積神經(jīng)網(wǎng)絡(luò)CNN。CNN是通過(guò)卷積核將上下層進(jìn)行鏈接，同一個(gè)卷積核在所有圖像中是共享的，圖像通過(guò)卷積操作后仍然保留原先的位置關(guān)系。 通過(guò)一個(gè)例子簡(jiǎn)單說(shuō)明卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。假設(shè)我們需要識(shí)別一幅彩色圖像，這幅圖像具有四個(gè)通道ARGB（透明度和紅綠藍(lán)，對(duì)應(yīng)了四幅相同大小的圖像），假設(shè)卷積核大小為100*100，共使用100個(gè)卷積核w1到w100(從直覺(jué)來(lái)看，每個(gè)卷積核應(yīng)該學(xué)習(xí)到不同的結(jié)構(gòu)特征)。 用w1在ARGB圖像上進(jìn)行卷積操作，可以得到隱含層的第一幅圖像;這幅隱含層圖像左上角第一個(gè)像素是四幅輸入圖像左上角100*100區(qū)域內(nèi)像素的加權(quán)求和，以此類推。 同理，算上其他卷積核，隱含層對(duì)應(yīng)100幅“圖像”。每幅圖像對(duì)是對(duì)原始圖像中不同特征的響應(yīng)。按照這樣的結(jié)構(gòu)繼續(xù)傳遞下去。CNN中還有max-pooling等操作進(jìn)一步提高魯棒性。 注意到最后一層實(shí)際上是一個(gè)全連接層，在這個(gè)例子里，我們注意到輸入層到隱藏層的參數(shù)瞬間降低到了100*100*100=10^6個(gè)！這使得我們能夠用已有的訓(xùn)練數(shù)據(jù)得到良好的模型。題主所說(shuō)的適用于圖像識(shí)別，正是由于CNN模型限制參數(shù)了個(gè)數(shù)并挖掘了局部結(jié)構(gòu)的這個(gè)特點(diǎn)。順著同樣的思路，利用語(yǔ)音語(yǔ)譜結(jié)構(gòu)中的局部信息，CNN照樣能應(yīng)用在語(yǔ)音識(shí)別中。 RNN形成 DNN無(wú)法對(duì)時(shí)間序列上的變化進(jìn)行建模。然而，樣本出現(xiàn)的時(shí)間順序?qū)τ谧匀徽Z(yǔ)言處理、語(yǔ)音識(shí)別、手寫體識(shí)別等應(yīng)用非常重要。為了適應(yīng)這種需求，就出現(xiàn)了大家所說(shuō)的另一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。 在普通的全連接網(wǎng)絡(luò)或CNN中，每層神經(jīng)元的信號(hào)只能向上一層傳播，樣本的處理在各個(gè)時(shí)刻獨(dú)立，因此又被成為前向神經(jīng)網(wǎng)絡(luò)(Feed-forward Neural Networks)。而在RNN中，神經(jīng)元的輸出可以在下一個(gè)時(shí)間段直接作用到自身，即第i層神經(jīng)元在m時(shí)刻的輸入，除了(i-1)層神經(jīng)元在該時(shí)刻的輸出外，還包括其自身在(m-1)時(shí)刻的輸出！表示成圖就是這樣的： 為方便分析，按照時(shí)間段展開如下圖所示： （t+1）時(shí)刻網(wǎng)絡(luò)的最終結(jié)果O（t+1）是該時(shí)刻輸入和所有歷史共同作用的結(jié)果！這就達(dá)到了對(duì)時(shí)間序列建模的目的。RNN可以看成一個(gè)在時(shí)間上傳遞的神經(jīng)網(wǎng)絡(luò)，它的深度是時(shí)間的長(zhǎng)度!正如我們上面所說(shuō)，“梯度消失”現(xiàn)象又要出現(xiàn)了，只不過(guò)這次發(fā)生在時(shí)間軸上。 所以RNN存在無(wú)法解決長(zhǎng)時(shí)依賴的問(wèn)題。為解決上述問(wèn)題，提出了LSTM（長(zhǎng)短時(shí)記憶單元），通過(guò)cell門開關(guān)實(shí)現(xiàn)時(shí)間上的記憶功能，并防止梯度消失，LSTM單元結(jié)構(gòu)如下圖所示： 除了DNN、CNN、RNN、ResNet（深度殘差）、LSTM之外，還有很多其他結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。如因?yàn)樵谛蛄行盘?hào)分析中，如果我能預(yù)知未來(lái)，對(duì)識(shí)別一定也是有所幫助的。因此就有了雙向RNN、雙向LSTM，同時(shí)利用歷史和未來(lái)的信息。 事實(shí)上，不論是哪種網(wǎng)絡(luò)，他們?cè)趯?shí)際應(yīng)用中常常都混合著使用，比如CNN和RNN在上層輸出之前往往會(huì)接上全連接層，很難說(shuō)某個(gè)網(wǎng)絡(luò)到底屬于哪個(gè)類別。不難想象隨著深度學(xué)習(xí)熱度的延續(xù)，更靈活的組合方式、更多的網(wǎng)絡(luò)結(jié)構(gòu)將被發(fā)展出來(lái)。 參考鏈接：https://www.leiphone.com/news/201702/ZwcjmiJ45aW27ULB.html
文章TAG：雙向為什么什么需要雙向lstm需要mask輸入而CNN則不需要

最近更新

相關(guān)文章