簡(jiǎn)述人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)可以多種方式分類，比如根據(jù)網(wǎng)絡(luò)性能可以分為連續(xù)和離散網(wǎng)絡(luò)、確定性和隨機(jī)網(wǎng)絡(luò)，根據(jù)網(wǎng)絡(luò)拓?fù)淇梢苑譃榍跋蛏窠?jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)，本章簡(jiǎn)要介紹了前饋神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織特征映射神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)可以指兩種，一種是生物神經(jīng)網(wǎng)絡(luò)，一種是人工神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)模型的分類人工神經(jīng)網(wǎng)絡(luò)的模型有很多種，可以根據(jù)不同的方法進(jìn)行分類。其中，兩種常見的分類方法是根據(jù)網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類和根據(jù)網(wǎng)絡(luò)內(nèi)部的信息流方向分類。1根據(jù)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，即神經(jīng)元之間的連接方式，對(duì)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)進(jìn)行分類。按照這個(gè)分類，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以分為層級(jí)結(jié)構(gòu)和互聯(lián)結(jié)構(gòu)兩大類。具有層次結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)根據(jù)功能和順序的不同，將神經(jīng)元分為輸出層、中間層(隱層)和輸出層。

可以根據(jù)需要設(shè)計(jì)成一層或多層；最后一個(gè)隱層將信息傳遞給輸出層的神經(jīng)元，進(jìn)一步處理后將信息處理結(jié)果輸出給外界。在互聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)中，任意兩個(gè)節(jié)點(diǎn)之間可能存在連接路徑，因此互聯(lián)網(wǎng)絡(luò)可以根據(jù)網(wǎng)絡(luò)中節(jié)點(diǎn)的連接程度細(xì)分為三種情況:全互聯(lián)、局部互聯(lián)和稀疏連接。根據(jù)網(wǎng)絡(luò)信息流方向的分類，可分為前饋網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)兩種。

1、ConvolutionalNeuralNetwork (CNN)是一種前饋神經(jīng)網(wǎng)絡(luò)，其人工神經(jīng)元可以在一部分覆蓋范圍內(nèi)對(duì)周圍單元做出反應(yīng)，對(duì)于大規(guī)模圖像處理具有優(yōu)異的性能。2.卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)由以下幾部分組成:輸入層、卷積層、池層、激活功能層和全連接層。3.目前卷積神經(jīng)網(wǎng)絡(luò)一般是由卷積層、匯聚層和全連接層重疊而成的前饋神經(jīng)網(wǎng)絡(luò)，采用反向傳播算法進(jìn)行訓(xùn)練。

TFIDF矢量一般在傳統(tǒng)的文本處理任務(wù)中作為特征輸入。顯然，這樣的表示實(shí)際上失去了輸入文本序列中每個(gè)單詞的順序。在神經(jīng)網(wǎng)絡(luò)建模過(guò)程中，一般的前饋神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)，通常接受一個(gè)固定長(zhǎng)度的向量作為輸入。卷積神經(jīng)網(wǎng)絡(luò)在對(duì)文本數(shù)據(jù)建模時(shí)，輸入變長(zhǎng)的字符串或詞串，然后通過(guò)滑動(dòng)窗口和池化將原始輸入轉(zhuǎn)化為定長(zhǎng)的向量表示，可以捕捉到原始文本中的一些局部特征，但仍然很難學(xué)習(xí)到兩個(gè)詞之間的長(zhǎng)距離依賴關(guān)系。

它模擬閱讀一篇文章的順序，從前向后閱讀文章中的每一個(gè)單詞，將前面讀到的有用信息編碼到狀態(tài)變量中，使其具有一定的記憶能力，能夠更好地理解后面的文字。它的網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示:從圖中可以看出，T是時(shí)間，X是輸入層，S是隱含層，O是輸出層，矩陣W是隱含層的最后一個(gè)值作為這個(gè)輸入的權(quán)重。

在人體內(nèi)，神經(jīng)元的結(jié)構(gòu)形式并不完全相同；但是，無(wú)論結(jié)構(gòu)形式如何，神經(jīng)元都是由一些基本成分組成的。神經(jīng)元的生物解剖可以由圖11所示的結(jié)構(gòu)來(lái)表示。從圖中可以看出，神經(jīng)元由細(xì)胞體、樹突和軸突組成。從細(xì)胞體伸出的最長(zhǎng)的管狀纖維稱為軸突。軸突最長(zhǎng)可達(dá)1米多。軸突是將神經(jīng)元興奮的信息傳遞給其他神經(jīng)元的出口。突觸是一種連接一個(gè)神經(jīng)元和另一個(gè)神經(jīng)元并傳遞信息的結(jié)構(gòu)。

由突觸前成分、突觸間隙和突觸后成分組成。突觸前成分是一個(gè)神經(jīng)元的軸突末梢。突觸間隙是突觸前成分和突觸后成分之間的距離空間，間隙一般為200300。突觸后成分可以是細(xì)胞體、樹突或軸突。突觸的存在說(shuō)明兩個(gè)神經(jīng)元的細(xì)胞質(zhì)不是直接相連的，兩個(gè)神經(jīng)元是通過(guò)突觸的結(jié)構(gòu)界面相互連接的。有時(shí)，突觸也被視為神經(jīng)元之間的連接。目前根據(jù)神經(jīng)生理學(xué)研究發(fā)現(xiàn)，神經(jīng)元及其突觸至少有四種不同的行為。

神經(jīng)網(wǎng)絡(luò)可以指向兩種，一種是生物神經(jīng)網(wǎng)絡(luò)，一種是人工神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò):一般指生物大腦神經(jīng)元、細(xì)胞、觸點(diǎn)等組成的網(wǎng)絡(luò)。，用來(lái)產(chǎn)生生物意識(shí)，幫助生物思考和行動(dòng)。人工神經(jīng)網(wǎng)絡(luò)(ANN)是一種算法數(shù)學(xué)模型，模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)的行為特征，進(jìn)行分布式并行信息處理。神經(jīng)網(wǎng)絡(luò)是一種基于人腦的機(jī)器學(xué)習(xí)。簡(jiǎn)單來(lái)說(shuō)，就是創(chuàng)建一個(gè)人工神經(jīng)網(wǎng)絡(luò)，讓計(jì)算機(jī)通過(guò)一種算法融合新的數(shù)據(jù)進(jìn)行學(xué)習(xí)。

神經(jīng)網(wǎng)絡(luò)可以以多種方式分類。比如根據(jù)網(wǎng)絡(luò)性能可以分為連續(xù)和離散網(wǎng)絡(luò)，確定性和隨機(jī)網(wǎng)絡(luò)，根據(jù)網(wǎng)絡(luò)拓?fù)淇梢苑譃榍跋蛏窠?jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)。本章簡(jiǎn)要介紹了前饋神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織特征映射神經(jīng)網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘中廣泛使用的網(wǎng)絡(luò)，其原理或算法也是許多神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)是一種前向神經(jīng)網(wǎng)絡(luò)。

Hvpfi}ld網(wǎng)絡(luò)的原型是一個(gè)非線性動(dòng)態(tài)系統(tǒng)，已成功應(yīng)用于聯(lián)想記憶和優(yōu)化計(jì)算。針對(duì)優(yōu)化計(jì)算中的局部極小問(wèn)題，提出了模擬退火算法。Baltzmann機(jī)是具有隨機(jī)輸出單元的隨機(jī)神經(jīng)網(wǎng)絡(luò)。串行Baltzmann機(jī)可以看作是二次組合優(yōu)化問(wèn)題模擬退火算法的具體實(shí)現(xiàn)，也可以模擬外界的概率分布，實(shí)現(xiàn)概率意義上的聯(lián)想記憶。

(摘自CS231n課程筆記)最常見的形式是將一些卷積層和ReLU層放在一起，然后是池化層，然后重復(fù)這個(gè)過(guò)程，直到圖像在空間上縮小到足夠小的尺寸。在某處過(guò)渡到完全連接的層也是常見的。最后輸出全連接層，比如分類得分。換句話說(shuō)，最常見的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下:INPUT>[[CONV>RELU]*N>POOL？

指可選的匯聚層。其中N>0，通常為N0，K>0，通常為。