首頁 > 產(chǎn)品 > 知識(shí) > 全連接層，為什么在卷積神經(jīng)網(wǎng)絡(luò)中全連接層4096維特征向量

全連接層，為什么在卷積神經(jīng)網(wǎng)絡(luò)中全連接層4096維特征向量

來源：整理時(shí)間：2024-10-22 17:36:12 編輯：智能門戶手機(jī)版

本文目錄一覽

1，為什么在卷積神經(jīng)網(wǎng)絡(luò)中全連接層4096維特征向量
2，matconvnet 中全連接層與卷積層有區(qū)別嗎
3，tensorflow 什么叫全連接層
4，深度網(wǎng)絡(luò)的全連接層微調(diào)怎么實(shí)現(xiàn)
5，怎么確實(shí)cnn全連接層的神經(jīng)元數(shù)目
6，卷積神經(jīng)網(wǎng)絡(luò)最后的全連接層的權(quán)值也是學(xué)習(xí)得來的嗎

1，為什么在卷積神經(jīng)網(wǎng)絡(luò)中全連接層4096維特征向量

通常為了計(jì)算的優(yōu)化等緣故，維度一般取2的指數(shù)。全連接層后續(xù)計(jì)算loss，總共類別應(yīng)該會(huì)有上千類，所以之前的layer最好也是1000這種規(guī)模，所以一般取1024,2048,4096等。通過在數(shù)據(jù)集上進(jìn)行測試，可以跑出來一個(gè)結(jié)果比較好的網(wǎng)絡(luò)結(jié)構(gòu)

為什么在卷積神經(jīng)網(wǎng)絡(luò)中全連接層4096維特征向量

2，matconvnet 中全連接層與卷積層有區(qū)別嗎

一般是直接開2d線程，每個(gè)線程計(jì)算當(dāng)前pixel和kernel的卷積值即可。卷積核都采用share memory存儲(chǔ)

matconvnet是一個(gè)卷積網(wǎng)絡(luò)工具箱，所以呢在這里面的全連接層就用1×1大小的卷積核替代了。比如全連接層中的4096個(gè)節(jié)點(diǎn)就變成了4096個(gè)1×1的卷積核，其效果差不多。

matconvnet 中全連接層與卷積層有區(qū)別嗎

3，tensorflow 什么叫全連接層

or each other and our commitment to each

可以裝xp虛擬機(jī)。微軟的官網(wǎng)上邊有下載。不要自己亂下載，不然會(huì)有很多未知問題?，F(xiàn)在較流行的是vmware7.0 。window xp pro 鏡像文件。下載好備用。（找一個(gè)“電腦瘋子”xp鏡像文件，600m的純凈版最好。）記好路徑。

tensorflow 什么叫全連接層

4，深度網(wǎng)絡(luò)的全連接層微調(diào)怎么實(shí)現(xiàn)

這個(gè)不是把網(wǎng)絡(luò)連接給刪了，還原以后網(wǎng)卡驅(qū)動(dòng)還沒裝上吧!你重裝一下網(wǎng)卡驅(qū)動(dòng)!

我自己總結(jié)的：1、神經(jīng)網(wǎng)絡(luò)算法隱含層的選取1.1 構(gòu)造法首先運(yùn)用三種確定隱含層層數(shù)的方法得到三個(gè)隱含層層數(shù)，找到最小值和最大值，然后從最小值開始逐個(gè)驗(yàn)證模型預(yù)測誤差，直到達(dá)到最大值。最后選取模型誤差最小的那個(gè)隱含層層數(shù)。該方法適用于雙隱含層網(wǎng)絡(luò)。1.2 刪除法單隱含層網(wǎng)絡(luò)非線性映射能力較弱，相同問題，為達(dá)到預(yù)定映射關(guān)系，隱層節(jié)點(diǎn)要多一些，以增加網(wǎng)絡(luò)的可調(diào)參數(shù)，故適合運(yùn)用刪除法。1.3黃金分割法算法的主要思想：首先在[a,b]內(nèi)尋找理想的隱含層節(jié)點(diǎn)數(shù)，這樣就充分保證了網(wǎng)絡(luò)的逼近能力和泛化能力。為滿足高精度逼近的要求，再按照黃金分割原理拓展搜索區(qū)間，即得到區(qū)間[b,c]（其中b=0.619*（c-a）+a），在區(qū)間[b,c]中搜索最優(yōu)，則得到逼近能力更強(qiáng)的隱含層節(jié)點(diǎn)數(shù)，在實(shí)際應(yīng)用根據(jù)要求，從中選取其一即可。

5，怎么確實(shí)cnn全連接層的神經(jīng)元數(shù)目

你的數(shù)據(jù)是另一種，而人工合成的圖像由于添加非自然噪點(diǎn)。用MNIST訓(xùn)練網(wǎng)絡(luò)，reg等。而是在確定結(jié)構(gòu)上調(diào)整參數(shù)，數(shù)據(jù)集是一種分布，完全用數(shù)據(jù)集訓(xùn)練的模型就能得到一個(gè)還好的結(jié)果，卷積的模板大小等？對(duì)于把流行數(shù)據(jù)集與自己數(shù)據(jù)混合訓(xùn)練模型的方法。如果你的數(shù)據(jù)量大到足以與數(shù)據(jù)集媲美，只訓(xùn)練后面的全連接層參數(shù)。如果自己的數(shù)據(jù)和數(shù)據(jù)集有些差別，用你自己的數(shù)據(jù)集，如果是1，但我認(rèn)為結(jié)果不會(huì)太好。需要學(xué)習(xí)的話。但是對(duì)于流行數(shù)據(jù)集而言，無非是把CNN當(dāng)成學(xué)習(xí)特征的手段，所以能用肉眼難分辨的噪聲嚴(yán)重干擾分類結(jié)果，不滿足模型假設(shè)。如果二者相差過大。然后cs231n與其問別人。如果是各種主題。如果是彩色數(shù)字，首先你去看UFLDL教程，那么可能不加自己的數(shù)據(jù)，而欺騙CNN的方法則主要出于，自然圖像分布在一種流形結(jié)構(gòu)中，1，自己的標(biāo)注數(shù)據(jù)量一般不會(huì)太大：1000。cnn認(rèn)為圖像是局部相關(guān)的，后面的全連接層對(duì)應(yīng)普通的神經(jīng)網(wǎng)絡(luò)做分類，你需要固定卷積池化層，learning rate，那么直接用你的數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)即可，我沒試過:100這種比例，也未嘗不可，視你的數(shù)據(jù)量調(diào)整規(guī)模，先轉(zhuǎn)成灰度，weight scale，首先你看了imageNet數(shù)據(jù)集了嗎。CNN一是調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，前面的卷積層學(xué)習(xí)圖像基本-中等-高層特征，你可以吧網(wǎng)絡(luò)看成兩部分，幾層卷積幾層池化。你用CNN做圖像分類。而后用于分類的全連接層，訓(xùn)練的模型需要這種流形假設(shè)。如果兩種數(shù)據(jù)十分相似。這時(shí)候只能把數(shù)據(jù)集用來訓(xùn)練cnn的特征提取能力，那混在一起我認(rèn)為自己的是在用自己的數(shù)據(jù)當(dāng)做噪聲加到數(shù)據(jù)集中，用彩色的imageNET訓(xùn)練，放到一起訓(xùn)練。在流行的數(shù)據(jù)集上訓(xùn)練完你要看你的圖像是什么

6，卷積神經(jīng)網(wǎng)絡(luò)最后的全連接層的權(quán)值也是學(xué)習(xí)得來的嗎

是的 fc的weights cnn的卷積核以及 pooling層可能會(huì)有的倍數(shù)與偏置都是學(xué)出來的

作者：楊延生鏈接：來源：知乎著作權(quán)歸作者所有，轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)。 "深度學(xué)習(xí)"是為了讓層數(shù)較多的多層神經(jīng)網(wǎng)絡(luò)可以訓(xùn)練，能夠work而演化出來的一系列的新的結(jié)構(gòu)和新的方法。新的網(wǎng)絡(luò)結(jié)構(gòu)中最著名的就是cnn，它解決了傳統(tǒng)較深的網(wǎng)絡(luò)參數(shù)太多，很難訓(xùn)練的問題，使用了逗局部感受野地和逗權(quán)植共享地的概念，大大減少了網(wǎng)絡(luò)參數(shù)的數(shù)量。關(guān)鍵是這種結(jié)構(gòu)確實(shí)很符合視覺類任務(wù)在人腦上的工作原理。新的結(jié)構(gòu)還包括了：lstm，resnet等。新的方法就多了：新的激活函數(shù)：relu，新的權(quán)重初始化方法（逐層初始化，xavier等），新的損失函數(shù)，新的防止過擬合方法（dropout, bn等）。這些方面主要都是為了解決傳統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)的一些不足：梯度消失，過擬合等。 ---------------------- 下面是原答案 ------------------------ 從廣義上說深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)也是多層神經(jīng)網(wǎng)絡(luò)的一種。傳統(tǒng)意義上的多層神經(jīng)網(wǎng)絡(luò)是只有輸入層、隱藏層、輸出層。其中隱藏層的層數(shù)根據(jù)需要而定，沒有明確的理論推導(dǎo)來說明到底多少層合適。而深度學(xué)習(xí)中最著名的卷積神經(jīng)網(wǎng)絡(luò)cnn，在原來多層神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，加入了特征學(xué)習(xí)部分，這部分是模仿人腦對(duì)信號(hào)處理上的分級(jí)的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個(gè)層級(jí)。輸入層 - 卷積層 -降維層 -卷積層 - 降維層 -- .... -- 隱藏層 -輸出層簡單來說，原來多層神經(jīng)網(wǎng)絡(luò)做的步驟是：特征映射到值。特征是人工挑選。深度學(xué)習(xí)做的步驟是信號(hào)->特征->值。特征是由網(wǎng)絡(luò)自己選擇。

文章TAG：全連接層為什么在卷積神經(jīng)網(wǎng)絡(luò)中全連接層4096維特征向量