神經(jīng)元網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)momentum 是什么意思

來(lái)源：整理時(shí)間：2024-11-08 06:59:45 編輯：智能門(mén)戶手機(jī)版

1，神經(jīng)網(wǎng)絡(luò)momentum 是什么意思

weigth decay的作用是用來(lái)放在cost function中作為正則項(xiàng)，來(lái)防止overfitting的，這樣做的目的是使不重要的特征項(xiàng)權(quán)重變小。

神經(jīng)網(wǎng)絡(luò)momentum 是什么意思

2，什么是BP神經(jīng)網(wǎng)絡(luò)

BP算法的基本思想是：學(xué)習(xí)過(guò)程由信號(hào)正向傳播與誤差的反向回傳兩個(gè)部分組成；正向傳播時(shí)，輸入樣本從輸入層傳入，經(jīng)各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調(diào)整信號(hào)逐層反向回傳，對(duì)神經(jīng)元之間的連接權(quán)矩陣做出處理，使誤差減小。經(jīng)反復(fù)學(xué)習(xí)，最終使誤差減小到可接受的范圍。具體步驟如下： 1、從訓(xùn)練集中取出某一樣本，把信息輸入網(wǎng)絡(luò)中。 2、通過(guò)各節(jié)點(diǎn)間的連接情況正向逐層處理后，得到神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出。 3、計(jì)算網(wǎng)絡(luò)實(shí)際輸出與期望輸出的誤差。 4、將誤差逐層反向回傳至之前各層，并按一定原則將誤差信號(hào)加載到連接權(quán)值上，使整個(gè)神經(jīng)網(wǎng)絡(luò)的連接權(quán)值向誤差減小的方向轉(zhuǎn)化。 5、対訓(xùn)練集中每一個(gè)輸入—輸出樣本對(duì)重復(fù)以上步驟，直到整個(gè)訓(xùn)練樣本集的誤差減小到符合要求為止。

什么是BP神經(jīng)網(wǎng)絡(luò)

3，什么是lvq神經(jīng)網(wǎng)絡(luò)

學(xué)習(xí)向量量化LVQ(Learning Vector Quantization)神經(jīng)網(wǎng)絡(luò)，屬于前向神經(jīng)網(wǎng)絡(luò)類(lèi)型，在模式識(shí)別和優(yōu)化領(lǐng)域有著廣泛的的應(yīng)用。 LVQ神經(jīng)網(wǎng)絡(luò)由三層組成，即輸入層、隱含層和輸出層，網(wǎng)絡(luò)在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個(gè)輸出層神經(jīng)元與隱含層神經(jīng)元的不同組相連接。隱含層和輸出層神經(jīng)元之間的連接權(quán)值固定為1。輸入層和隱含層神經(jīng)元間連接的權(quán)值建立參考矢量的分量（對(duì)每個(gè)隱含神經(jīng)元指定一個(gè)參考矢量）。在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，這些權(quán)值被修改。隱含層神經(jīng)元（又稱(chēng)為Kohnen神經(jīng)元）和輸出神經(jīng)元都具有二進(jìn)制輸出值。當(dāng)某個(gè)輸入模式被送至網(wǎng)絡(luò)時(shí)，參考矢量最接近輸入模式的隱含神經(jīng)元因獲得激發(fā)而贏得競(jìng)爭(zhēng)，因而允許它產(chǎn)生一個(gè)“1”，而其它隱含層神經(jīng)元都被迫產(chǎn)生“0”。與包含獲勝神經(jīng)元的隱含層神經(jīng)元組相連接的輸出神經(jīng)元也發(fā)出“1”，而其它輸出神經(jīng)元均發(fā)出“0”。產(chǎn)生“1”的輸出神經(jīng)元給出輸入模式的類(lèi)，由此可見(jiàn)，每個(gè)輸出神經(jīng)元被用于表示不同的類(lèi)。

什么是lvq神經(jīng)網(wǎng)絡(luò)

4，神經(jīng)網(wǎng)絡(luò)的分類(lèi)

神經(jīng)網(wǎng)絡(luò)有多種分類(lèi)方式，例如，按網(wǎng)絡(luò)性能可分為連續(xù)型與離散型網(wǎng)絡(luò)，確定型與隨機(jī)型網(wǎng)絡(luò):按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可分為前向神經(jīng)網(wǎng)絡(luò)與反饋神經(jīng)網(wǎng)絡(luò)。本章土要簡(jiǎn)介前向神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織特征映射神經(jīng)網(wǎng)絡(luò)。前向神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘中廣為應(yīng)用的一種網(wǎng)絡(luò)，其原理或算法也是很多神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)就是一種前向型神經(jīng)網(wǎng)絡(luò)。 Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)的代表。Hvpfi}ld網(wǎng)絡(luò)的原型是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，目前，已經(jīng)在聯(lián)想記憶和優(yōu)化計(jì)算中得到成功應(yīng)用。模擬退火算法是為解決優(yōu)化計(jì)算中局部極小問(wèn)題提出的。Baltzmann機(jī)是具有隨機(jī)輸出值單元的隨機(jī)神經(jīng)網(wǎng)絡(luò)，串行的Baltzmann機(jī)可以看作是對(duì)二次組合優(yōu)化問(wèn)題的模擬退火算法的具體實(shí)現(xiàn)，同時(shí)它還可以模擬外界的概率分布，實(shí)現(xiàn)概率意義上的聯(lián)想記憶。自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是能識(shí)別環(huán)境的特征并自動(dòng)聚類(lèi)。自組織竟?fàn)幮蜕窠?jīng)網(wǎng)絡(luò)已成功應(yīng)用于特征抽取和大規(guī)模數(shù)據(jù)處理。

人類(lèi)大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。　　邏輯性的思維是指根據(jù)邏輯規(guī)則進(jìn)行推理的過(guò)程；它先將信息化成概念，并用符號(hào)表示，然后，根據(jù)符號(hào)運(yùn)算按串行模式進(jìn)行邏輯推理；這一過(guò)程可以寫(xiě)成串行的指令，讓計(jì)算機(jī)執(zhí)行。然而，直觀性的思維是將分布式存儲(chǔ)的信息綜合起來(lái)，結(jié)果是忽然間產(chǎn)生想法或解決問(wèn)題的辦法。這種思維方式的根本之點(diǎn)在于以下兩點(diǎn):1.信息是通過(guò)神經(jīng)元上的興奮模式分布儲(chǔ)在網(wǎng)絡(luò)上;2.信息處理是通過(guò)神經(jīng)元之間同時(shí)相互作用的動(dòng)態(tài)過(guò)程來(lái)完成的。　　人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。這是一個(gè)非線性動(dòng)力學(xué)系統(tǒng)，其特色在于信息的分布式存儲(chǔ)和并行協(xié)同處理。雖然單個(gè)神經(jīng)元的結(jié)構(gòu)極其簡(jiǎn)單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實(shí)現(xiàn)的行為卻是極其豐富多彩的。

這個(gè)概念太廣了

5，什么是神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)的介紹2006-10-23 14:58原文摘自:(http://www.cnweblog.com/alsan/articles/14621.html) Introduction -------------------------------------------------------------------------------- 神經(jīng)網(wǎng)絡(luò)是新技術(shù)領(lǐng)域中的一個(gè)時(shí)尚詞匯。很多人聽(tīng)過(guò)這個(gè)詞，但很少人真正明白它是什么。本文的目的是介紹所有關(guān)于神經(jīng)網(wǎng)絡(luò)的基本包括它的功能、一般結(jié)構(gòu)、相關(guān)術(shù)語(yǔ)、類(lèi)型及其應(yīng)用。 “神經(jīng)網(wǎng)絡(luò)”這個(gè)詞實(shí)際是來(lái)自于生物學(xué)，而我們所指的神經(jīng)網(wǎng)絡(luò)正確的名稱(chēng)應(yīng)該是“人工神經(jīng)網(wǎng)絡(luò)（ANNs）”。在本文，我會(huì)同時(shí)使用這兩個(gè)互換的術(shù)語(yǔ)。一個(gè)真正的神經(jīng)網(wǎng)絡(luò)是由數(shù)個(gè)至數(shù)十億個(gè)被稱(chēng)為神經(jīng)元的細(xì)胞（組成我們大腦的微小細(xì)胞）所組成，它們以不同方式連接而型成網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)就是嘗試模擬這種生物學(xué)上的體系結(jié)構(gòu)及其操作。在這里有一個(gè)難題：我們對(duì)生物學(xué)上的神經(jīng)網(wǎng)絡(luò)知道的不多！因此，不同類(lèi)型之間的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)有很大的不同，我們所知道的只是神經(jīng)元基本的結(jié)構(gòu)。 The neuron -------------------------------------------------------------------------------- 雖然已經(jīng)確認(rèn)在我們的大腦中有大約50至500種不同的神經(jīng)元，但它們大部份都是基于基本神經(jīng)元的特別細(xì)胞?；旧窠?jīng)元包含有synapses、soma、axon及dendrites。Synapses負(fù)責(zé)神經(jīng)元之間的連接，它們不是直接物理上連接的，而是它們之間有一個(gè)很小的空隙允許電子訊號(hào)從一個(gè)神經(jīng)元跳到另一個(gè)神經(jīng)元。然后這些電子訊號(hào)會(huì)交給soma處理及以其內(nèi)部電子訊號(hào)將處理結(jié)果傳遞給axon。而axon會(huì)將這些訊號(hào)分發(fā)給dendrites。最后，dendrites帶著這些訊號(hào)再交給其它的synapses，再繼續(xù)下一個(gè)循環(huán)。如同生物學(xué)上的基本神經(jīng)元，人工的神經(jīng)網(wǎng)絡(luò)也有基本的神經(jīng)元。每個(gè)神經(jīng)元有特定數(shù)量的輸入，也會(huì)為每個(gè)神經(jīng)元設(shè)定權(quán)重（weight）。權(quán)重是對(duì)所輸入的資料的重要性的一個(gè)指標(biāo)。然后，神經(jīng)元會(huì)計(jì)算出權(quán)重合計(jì)值（net value），而權(quán)重合計(jì)值就是將所有輸入乘以它們的權(quán)重的合計(jì)。每個(gè)神經(jīng)元都有它們各自的臨界值（threshold），而當(dāng)權(quán)重合計(jì)值大于臨界值時(shí)，神經(jīng)元會(huì)輸出1。相反，則輸出0。最后，輸出會(huì)被傳送給與該神經(jīng)元連接的其它神經(jīng)元繼續(xù)剩余的計(jì)算。 Learning -------------------------------------------------------------------------------- 正如上述所寫(xiě)，問(wèn)題的核心是權(quán)重及臨界值是該如何設(shè)定的呢？世界上有很多不同的訓(xùn)練方式，就如網(wǎng)絡(luò)類(lèi)型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓(xùn)練模式。由于結(jié)構(gòu)體系的不同，訓(xùn)練的規(guī)則也不相同，但大部份的規(guī)則可以被分為二大類(lèi)別 - 監(jiān)管的及非監(jiān)管的。監(jiān)管方式的訓(xùn)練規(guī)則需要“教師”告訴他們特定的輸入應(yīng)該作出怎樣的輸出。然后訓(xùn)練規(guī)則會(huì)調(diào)整所有需要的權(quán)重值（這是網(wǎng)絡(luò)中是非常復(fù)雜的），而整個(gè)過(guò)程會(huì)重頭開(kāi)始直至數(shù)據(jù)可以被網(wǎng)絡(luò)正確的分析出來(lái)。監(jiān)管方式的訓(xùn)練模式包括有back-propagation及delta rule。非監(jiān)管方式的規(guī)則無(wú)需教師，因?yàn)樗麄兯a(chǎn)生的輸出會(huì)被進(jìn)一步評(píng)估。 Architecture -------------------------------------------------------------------------------- 在神經(jīng)網(wǎng)絡(luò)中，遵守明確的規(guī)則一詞是最“模糊不清”的。因?yàn)橛刑嗖煌N類(lèi)的網(wǎng)絡(luò)，由簡(jiǎn)單的布爾網(wǎng)絡(luò)（Perceptrons），至復(fù)雜的自我調(diào)整網(wǎng)絡(luò)（Kohonen），至熱動(dòng)態(tài)性網(wǎng)絡(luò)模型（Boltzmann machines）！而這些，都遵守一個(gè)網(wǎng)絡(luò)體系結(jié)構(gòu)的標(biāo)準(zhǔn)。一個(gè)網(wǎng)絡(luò)包括有多個(gè)神經(jīng)元“層”，輸入層、隱蔽層及輸出層。輸入層負(fù)責(zé)接收輸入及分發(fā)到隱蔽層（因?yàn)橛脩艨床灰?jiàn)這些層，所以見(jiàn)做隱蔽層）。這些隱蔽層負(fù)責(zé)所需的計(jì)算及輸出結(jié)果給輸出層，而用戶則可以看到最終結(jié)果。現(xiàn)在，為免混淆，不會(huì)在這里更深入的探討體系結(jié)構(gòu)這一話題。對(duì)于不同神經(jīng)網(wǎng)絡(luò)的更多詳細(xì)資料可以看Generation5 essays 盡管我們討論過(guò)神經(jīng)元、訓(xùn)練及體系結(jié)構(gòu)，但我們還不清楚神經(jīng)網(wǎng)絡(luò)實(shí)際做些什么。 The Function of ANNs -------------------------------------------------------------------------------- 神經(jīng)網(wǎng)絡(luò)被設(shè)計(jì)為與圖案一起工作 - 它們可以被分為分類(lèi)式或聯(lián)想式。分類(lèi)式網(wǎng)絡(luò)可以接受一組數(shù)，然后將其分類(lèi)。例如ONR程序接受一個(gè)數(shù)字的影象而輸出這個(gè)數(shù)字。或者PPDA32程序接受一個(gè)坐標(biāo)而將它分類(lèi)成A類(lèi)或B類(lèi)（類(lèi)別是由所提供的訓(xùn)練決定的）。更多實(shí)際用途可以看Applications in the Military中的軍事雷達(dá)，該雷達(dá)可以分別出車(chē)輛或樹(shù)。聯(lián)想模式接受一組數(shù)而輸出另一組。例如HIR程序接受一個(gè)臟圖像而輸出一個(gè)它所學(xué)過(guò)而最接近的一個(gè)圖像。聯(lián)想模式更可應(yīng)用于復(fù)雜的應(yīng)用程序，如簽名、面部、指紋識(shí)別等。 The Ups and Downs of Neural Networks -------------------------------------------------------------------------------- 神經(jīng)網(wǎng)絡(luò)在這個(gè)領(lǐng)域中有很多優(yōu)點(diǎn)，使得它越來(lái)越流行。它在類(lèi)型分類(lèi)/識(shí)別方面非常出色。神經(jīng)網(wǎng)絡(luò)可以處理例外及不正常的輸入數(shù)據(jù)，這對(duì)于很多系統(tǒng)都很重要（例如雷達(dá)及聲波定位系統(tǒng)）。很多神經(jīng)網(wǎng)絡(luò)都是模仿生物神經(jīng)網(wǎng)絡(luò)的，即是他們仿照大腦的運(yùn)作方式工作。神經(jīng)網(wǎng)絡(luò)也得助于神經(jīng)系統(tǒng)科學(xué)的發(fā)展，使它可以像人類(lèi)一樣準(zhǔn)確地辨別物件而有電腦的速度！前途是光明的，但現(xiàn)在... 是的，神經(jīng)網(wǎng)絡(luò)也有些不好的地方。這通常都是因?yàn)槿狈ψ銐驈?qiáng)大的硬件。神經(jīng)網(wǎng)絡(luò)的力量源自于以并行方式處理資訊，即是同時(shí)處理多項(xiàng)數(shù)據(jù)。因此，要一個(gè)串行的機(jī)器模擬并行處理是非常耗時(shí)的。神經(jīng)網(wǎng)絡(luò)的另一個(gè)問(wèn)題是對(duì)某一個(gè)問(wèn)題構(gòu)建網(wǎng)絡(luò)所定義的條件不足 - 有太多因素需要考慮：訓(xùn)練的算法、體系結(jié)構(gòu)、每層的神經(jīng)元個(gè)數(shù)、有多少層、數(shù)據(jù)的表現(xiàn)等，還有其它更多因素。因此，隨著時(shí)間越來(lái)越重要，大部份公司不可能負(fù)擔(dān)重復(fù)的開(kāi)發(fā)神經(jīng)網(wǎng)絡(luò)去有效地解決問(wèn)題。 Conclusion -------------------------------------------------------------------------------- 希望您可以通過(guò)本文對(duì)神經(jīng)網(wǎng)絡(luò)有基本的認(rèn)識(shí)。Generation5現(xiàn)在有很多關(guān)于神經(jīng)網(wǎng)絡(luò)的資料可以查閱，包括文章及程序。我們有Hopfield、perceptrons（2個(gè)）網(wǎng)絡(luò)的例子，及一些back-propagation個(gè)案研究。 Glossary -------------------------------------------------------------------------------- NN 神經(jīng)網(wǎng)絡(luò)，Neural Network ANNs 人工神經(jīng)網(wǎng)絡(luò)，Artificial Neural Networks neurons 神經(jīng)元 synapses 神經(jīng)鍵 self-organizing networks 自我調(diào)整網(wǎng)絡(luò) networks modelling thermodynamic properties 熱動(dòng)態(tài)性網(wǎng)絡(luò)模型