2.1什么是分組卷積在解釋分組卷積之前，我們用一張圖來體驗一下一般的卷積操作。在卷積神經(jīng)網(wǎng)絡中，每個卷積層由若干個卷積單元組成，每個卷積單元的參數(shù)通過反向傳播算法進行優(yōu)化，如果把參與卷積的函數(shù)看作區(qū)間指示函數(shù)，卷積也可以看作是“移動平均”的推廣，從上圖可以看出，一般卷積會對整個輸入數(shù)據(jù)做卷積操作，即輸入數(shù)據(jù):h1×w1×C1；；卷積核的大小是h1×w1，總共有C2，那么卷積得到的輸出數(shù)據(jù)就是H2×W2×C2。

上圖的計算過程是這樣的:首先我們可以把右邊的卷積，可以叫做濾波器或者內(nèi)核，覆蓋到左邊的第一個區(qū)域，然后按照對應的位置分別乘加，3 * 11 * 12 * 10 * 00 * 01 *(1)8 *(1)2 *(1)5；按照上面的計算方法，逐漸向右移動一個步長(步長可以設置為1，2，...)，然后向下移動，逐步計算對應的值，得到最終值。

包卷積最早出現(xiàn)在AlexNet中。由于當時硬件資源有限，在訓練AlexNet時，卷積操作無法全部在同一個GPU中處理，所以作者將featuremaps分布到多個GPU中進行處理，最后融合多個GPU的結(jié)果。2.1什么是分組卷積在解釋分組卷積之前，我們用一張圖來體驗一下一般的卷積操作。從上圖可以看出，一般卷積會對整個輸入數(shù)據(jù)做卷積操作，即輸入數(shù)據(jù):h1×w1×C1；；卷積核的大小是h1×w1，總共有C2，那么卷積得到的輸出數(shù)據(jù)就是H2×W2×C2。

主要是這個過程是一氣呵成的，對存儲器的容量提出了更高的要求。但是包卷積顯然沒有那么多參數(shù)。先用圖片直觀感受分組卷積的過程。對于上面提到的同一個問題，包卷積如下圖所示?？梢钥闯?，輸入數(shù)據(jù)分為兩組(組數(shù)為g)。需要注意的是，這種分組只是深度上的劃分，也就是將一些通道分組為一組，這個具體的數(shù)目由(C1/克)決定。

(1)單個獨立卷積核的通道數(shù)輸入圖像的通道數(shù)(由輸入圖像決定)；(2)獨立卷積核的數(shù)量和輸出圖像的通道數(shù)量(由用戶確定)。在描述卷積核時，必須明確“卷積核的通道數(shù)”這個概念是指“單個獨立卷積核的通道數(shù)”還是獨立卷積核的數(shù)目(輸出通道數(shù))。舉例:如果輸入圖像的尺度為32×32×128，即輸入通道數(shù)為128；那么根據(jù)前面的(1)，單個卷積核的通道數(shù)也是128，即卷積核的大小應該是:n×n×128(n通常是3、5、7等。).

視覺卷積層的基礎知識如果我們設計六個卷積核，可以理解為我們認為這張圖像上有六個底層紋理圖案，也就是說我們可以用六個基本圖案來繪制一幅圖像。卷積層的作用是提取局部區(qū)域的特征。ConvolutionalNeuralNetwork (CNN或ConvNet)是一種深度前饋神經(jīng)網(wǎng)絡，具有局部連接和權重共享的特點。

在卷積神經(jīng)網(wǎng)絡中，每個卷積層由若干個卷積單元組成，每個卷積單元的參數(shù)通過反向傳播算法進行優(yōu)化。卷積神經(jīng)網(wǎng)絡中卷積層之間的連接稱為稀疏連接(sparseconnection)，即與前饋神經(jīng)網(wǎng)絡中的全連接相比，卷積層中的神經(jīng)元只與其相鄰層中的一部分相連，而不是全部神經(jīng)元。卷積神經(jīng)網(wǎng)絡是一種包含卷積計算、具有深層結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡。是深度學習的代表性算法之一。

根據(jù)上面描述的神經(jīng)網(wǎng)絡，如果處理一張圖片，參數(shù)有多大？假設圖像的大小為1200*1200，下一層神經(jīng)元的數(shù)量為10 ^ 5，則不難得到1200 * 1200 * 10 51.44 * 10 ^ 12的參數(shù)?？梢钥闯?，一層的參數(shù)數(shù)量非常多。如果增加更多的層數(shù)，參數(shù)的個數(shù)就要超出內(nèi)存的容忍范圍，從研究和工程的角度來說是不允許的。而且參數(shù)太多，容易導致過擬合。

經(jīng)過研究，從稀疏連接、參數(shù)共享、平移不變性三個方面進行了改進。可能有些人不理解這種稀疏連接是怎么實現(xiàn)的。先說卷積操作吧。以一個二維矩陣作為輸入(可以看作是單通道圖片的像素值)，卷積造成稀疏連接的根本原因是這個塊的核函數(shù)，一般核函數(shù)的大小比輸入小很多。以下圖例:卷積操作可視為滑動窗口法。首先輸入維度為4×4，輸入的紅色部分乘以核函數(shù)中的元素，就是輸出左上角的元素值s1。

卷積:實際上是通過兩個函數(shù)F和G生成第三個函數(shù)的數(shù)學算子，代表函數(shù)F和G翻轉(zhuǎn)平移后重疊部分的面積。如果把參與卷積的函數(shù)看作區(qū)間指示函數(shù)，卷積也可以看作是“移動平均”的推廣。舉例說明兩個方波脈沖的卷積。其中函數(shù)g首先反射τ0，然后平移t成為g(tτ)。那么重疊部分的面積就相當于t處的卷積，這里橫坐標代表要積分的變量τ和新函數(shù)f * g的自變量t。

顯示了方波脈沖波和指數(shù)衰減脈沖波(后者可能出現(xiàn)在RC電路中)的卷積。同樣，重疊面積相當于t處的卷積，注意，因為G是對稱的，所以在這兩張圖中，反射不改變形狀，卷積是分析數(shù)學中的一個重要運算。設f (x)和g (x)是r上的兩個可積函數(shù)，做一個積分:可以證明上述積分幾乎都存在，這樣，隨著x的不同取值，這個積分定義了一個新的函數(shù)h(x)，這個函數(shù)叫做函數(shù)F和G的卷積，并且記載了我們很容易驗證，它仍然是一個可積函數(shù)。