神經(jīng)元網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)momentum 是什么意思

來源：整理時間：2024-11-08 06:59:45 編輯：智能門戶手機版

1，神經(jīng)網(wǎng)絡(luò)momentum 是什么意思

weigth decay的作用是用來放在cost function中作為正則項，來防止overfitting的，這樣做的目的是使不重要的特征項權(quán)重變小。

神經(jīng)網(wǎng)絡(luò)momentum 是什么意思

2，什么是BP神經(jīng)網(wǎng)絡(luò)

BP算法的基本思想是：學習過程由信號正向傳播與誤差的反向回傳兩個部分組成；正向傳播時，輸入樣本從輸入層傳入，經(jīng)各隱層依次逐層處理，傳向輸出層，若輸出層輸出與期望不符，則將誤差作為調(diào)整信號逐層反向回傳，對神經(jīng)元之間的連接權(quán)矩陣做出處理，使誤差減小。經(jīng)反復學習，最終使誤差減小到可接受的范圍。具體步驟如下： 1、從訓練集中取出某一樣本，把信息輸入網(wǎng)絡(luò)中。 2、通過各節(jié)點間的連接情況正向逐層處理后，得到神經(jīng)網(wǎng)絡(luò)的實際輸出。 3、計算網(wǎng)絡(luò)實際輸出與期望輸出的誤差。 4、將誤差逐層反向回傳至之前各層，并按一定原則將誤差信號加載到連接權(quán)值上，使整個神經(jīng)網(wǎng)絡(luò)的連接權(quán)值向誤差減小的方向轉(zhuǎn)化。 5、対訓練集中每一個輸入—輸出樣本對重復以上步驟，直到整個訓練樣本集的誤差減小到符合要求為止。

什么是BP神經(jīng)網(wǎng)絡(luò)

3，什么是lvq神經(jīng)網(wǎng)絡(luò)

學習向量量化LVQ(Learning Vector Quantization)神經(jīng)網(wǎng)絡(luò)，屬于前向神經(jīng)網(wǎng)絡(luò)類型，在模式識別和優(yōu)化領(lǐng)域有著廣泛的的應用。 LVQ神經(jīng)網(wǎng)絡(luò)由三層組成，即輸入層、隱含層和輸出層，網(wǎng)絡(luò)在輸入層與隱含層間為完全連接，而在隱含層與輸出層間為部分連接，每個輸出層神經(jīng)元與隱含層神經(jīng)元的不同組相連接。隱含層和輸出層神經(jīng)元之間的連接權(quán)值固定為1。輸入層和隱含層神經(jīng)元間連接的權(quán)值建立參考矢量的分量（對每個隱含神經(jīng)元指定一個參考矢量）。在網(wǎng)絡(luò)訓練過程中，這些權(quán)值被修改。隱含層神經(jīng)元（又稱為Kohnen神經(jīng)元）和輸出神經(jīng)元都具有二進制輸出值。當某個輸入模式被送至網(wǎng)絡(luò)時，參考矢量最接近輸入模式的隱含神經(jīng)元因獲得激發(fā)而贏得競爭，因而允許它產(chǎn)生一個“1”，而其它隱含層神經(jīng)元都被迫產(chǎn)生“0”。與包含獲勝神經(jīng)元的隱含層神經(jīng)元組相連接的輸出神經(jīng)元也發(fā)出“1”，而其它輸出神經(jīng)元均發(fā)出“0”。產(chǎn)生“1”的輸出神經(jīng)元給出輸入模式的類，由此可見，每個輸出神經(jīng)元被用于表示不同的類。

什么是lvq神經(jīng)網(wǎng)絡(luò)

4，神經(jīng)網(wǎng)絡(luò)的分類

神經(jīng)網(wǎng)絡(luò)有多種分類方式，例如，按網(wǎng)絡(luò)性能可分為連續(xù)型與離散型網(wǎng)絡(luò)，確定型與隨機型網(wǎng)絡(luò):按網(wǎng)絡(luò)拓撲結(jié)構(gòu)可分為前向神經(jīng)網(wǎng)絡(luò)與反饋神經(jīng)網(wǎng)絡(luò)。本章土要簡介前向神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織特征映射神經(jīng)網(wǎng)絡(luò)。前向神經(jīng)網(wǎng)絡(luò)是數(shù)據(jù)挖掘中廣為應用的一種網(wǎng)絡(luò)，其原理或算法也是很多神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)就是一種前向型神經(jīng)網(wǎng)絡(luò)。 Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)的代表。Hvpfi}ld網(wǎng)絡(luò)的原型是一個非線性動力學系統(tǒng)，目前，已經(jīng)在聯(lián)想記憶和優(yōu)化計算中得到成功應用。模擬退火算法是為解決優(yōu)化計算中局部極小問題提出的。Baltzmann機是具有隨機輸出值單元的隨機神經(jīng)網(wǎng)絡(luò)，串行的Baltzmann機可以看作是對二次組合優(yōu)化問題的模擬退火算法的具體實現(xiàn)，同時它還可以模擬外界的概率分布，實現(xiàn)概率意義上的聯(lián)想記憶。自組織競爭型神經(jīng)網(wǎng)絡(luò)的特點是能識別環(huán)境的特征并自動聚類。自組織竟爭型神經(jīng)網(wǎng)絡(luò)已成功應用于特征抽取和大規(guī)模數(shù)據(jù)處理。

人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。　　邏輯性的思維是指根據(jù)邏輯規(guī)則進行推理的過程；它先將信息化成概念，并用符號表示，然后，根據(jù)符號運算按串行模式進行邏輯推理；這一過程可以寫成串行的指令，讓計算機執(zhí)行。然而，直觀性的思維是將分布式存儲的信息綜合起來，結(jié)果是忽然間產(chǎn)生想法或解決問題的辦法。這種思維方式的根本之點在于以下兩點:1.信息是通過神經(jīng)元上的興奮模式分布儲在網(wǎng)絡(luò)上;2.信息處理是通過神經(jīng)元之間同時相互作用的動態(tài)過程來完成的。　　人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的第二種方式。這是一個非線性動力學系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實現(xiàn)的行為卻是極其豐富多彩的。

這個概念太廣了

5，什么是神經(jīng)網(wǎng)絡(luò)法

神經(jīng)網(wǎng)絡(luò)的介紹2006-10-23 14:58原文摘自:(http://www.cnweblog.com/alsan/articles/14621.html) Introduction -------------------------------------------------------------------------------- 神經(jīng)網(wǎng)絡(luò)是新技術(shù)領(lǐng)域中的一個時尚詞匯。很多人聽過這個詞，但很少人真正明白它是什么。本文的目的是介紹所有關(guān)于神經(jīng)網(wǎng)絡(luò)的基本包括它的功能、一般結(jié)構(gòu)、相關(guān)術(shù)語、類型及其應用。 “神經(jīng)網(wǎng)絡(luò)”這個詞實際是來自于生物學，而我們所指的神經(jīng)網(wǎng)絡(luò)正確的名稱應該是“人工神經(jīng)網(wǎng)絡(luò)（ANNs）”。在本文，我會同時使用這兩個互換的術(shù)語。一個真正的神經(jīng)網(wǎng)絡(luò)是由數(shù)個至數(shù)十億個被稱為神經(jīng)元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)就是嘗試模擬這種生物學上的體系結(jié)構(gòu)及其操作。在這里有一個難題：我們對生物學上的神經(jīng)網(wǎng)絡(luò)知道的不多！因此，不同類型之間的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)有很大的不同，我們所知道的只是神經(jīng)元基本的結(jié)構(gòu)。 The neuron -------------------------------------------------------------------------------- 雖然已經(jīng)確認在我們的大腦中有大約50至500種不同的神經(jīng)元，但它們大部份都是基于基本神經(jīng)元的特別細胞?；旧窠?jīng)元包含有synapses、soma、axon及dendrites。Synapses負責神經(jīng)元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經(jīng)元跳到另一個神經(jīng)元。然后這些電子訊號會交給soma處理及以其內(nèi)部電子訊號將處理結(jié)果傳遞給axon。而axon會將這些訊號分發(fā)給dendrites。最后，dendrites帶著這些訊號再交給其它的synapses，再繼續(xù)下一個循環(huán)。如同生物學上的基本神經(jīng)元，人工的神經(jīng)網(wǎng)絡(luò)也有基本的神經(jīng)元。每個神經(jīng)元有特定數(shù)量的輸入，也會為每個神經(jīng)元設(shè)定權(quán)重（weight）。權(quán)重是對所輸入的資料的重要性的一個指標。然后，神經(jīng)元會計算出權(quán)重合計值（net value），而權(quán)重合計值就是將所有輸入乘以它們的權(quán)重的合計。每個神經(jīng)元都有它們各自的臨界值（threshold），而當權(quán)重合計值大于臨界值時，神經(jīng)元會輸出1。相反，則輸出0。最后，輸出會被傳送給與該神經(jīng)元連接的其它神經(jīng)元繼續(xù)剩余的計算。 Learning -------------------------------------------------------------------------------- 正如上述所寫，問題的核心是權(quán)重及臨界值是該如何設(shè)定的呢？世界上有很多不同的訓練方式，就如網(wǎng)絡(luò)類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓練模式。由于結(jié)構(gòu)體系的不同，訓練的規(guī)則也不相同，但大部份的規(guī)則可以被分為二大類別 - 監(jiān)管的及非監(jiān)管的。監(jiān)管方式的訓練規(guī)則需要“教師”告訴他們特定的輸入應該作出怎樣的輸出。然后訓練規(guī)則會調(diào)整所有需要的權(quán)重值（這是網(wǎng)絡(luò)中是非常復雜的），而整個過程會重頭開始直至數(shù)據(jù)可以被網(wǎng)絡(luò)正確的分析出來。監(jiān)管方式的訓練模式包括有back-propagation及delta rule。非監(jiān)管方式的規(guī)則無需教師，因為他們所產(chǎn)生的輸出會被進一步評估。 Architecture -------------------------------------------------------------------------------- 在神經(jīng)網(wǎng)絡(luò)中，遵守明確的規(guī)則一詞是最“模糊不清”的。因為有太多不同種類的網(wǎng)絡(luò)，由簡單的布爾網(wǎng)絡(luò)（Perceptrons），至復雜的自我調(diào)整網(wǎng)絡(luò)（Kohonen），至熱動態(tài)性網(wǎng)絡(luò)模型（Boltzmann machines）！而這些，都遵守一個網(wǎng)絡(luò)體系結(jié)構(gòu)的標準。一個網(wǎng)絡(luò)包括有多個神經(jīng)元“層”，輸入層、隱蔽層及輸出層。輸入層負責接收輸入及分發(fā)到隱蔽層（因為用戶看不見這些層，所以見做隱蔽層）。這些隱蔽層負責所需的計算及輸出結(jié)果給輸出層，而用戶則可以看到最終結(jié)果?，F(xiàn)在，為免混淆，不會在這里更深入的探討體系結(jié)構(gòu)這一話題。對于不同神經(jīng)網(wǎng)絡(luò)的更多詳細資料可以看Generation5 essays 盡管我們討論過神經(jīng)元、訓練及體系結(jié)構(gòu)，但我們還不清楚神經(jīng)網(wǎng)絡(luò)實際做些什么。 The Function of ANNs -------------------------------------------------------------------------------- 神經(jīng)網(wǎng)絡(luò)被設(shè)計為與圖案一起工作 - 它們可以被分為分類式或聯(lián)想式。分類式網(wǎng)絡(luò)可以接受一組數(shù)，然后將其分類。例如ONR程序接受一個數(shù)字的影象而輸出這個數(shù)字?；蛘逷PDA32程序接受一個坐標而將它分類成A類或B類（類別是由所提供的訓練決定的）。更多實際用途可以看Applications in the Military中的軍事雷達，該雷達可以分別出車輛或樹。聯(lián)想模式接受一組數(shù)而輸出另一組。例如HIR程序接受一個臟圖像而輸出一個它所學過而最接近的一個圖像。聯(lián)想模式更可應用于復雜的應用程序，如簽名、面部、指紋識別等。 The Ups and Downs of Neural Networks -------------------------------------------------------------------------------- 神經(jīng)網(wǎng)絡(luò)在這個領(lǐng)域中有很多優(yōu)點，使得它越來越流行。它在類型分類/識別方面非常出色。神經(jīng)網(wǎng)絡(luò)可以處理例外及不正常的輸入數(shù)據(jù)，這對于很多系統(tǒng)都很重要（例如雷達及聲波定位系統(tǒng)）。很多神經(jīng)網(wǎng)絡(luò)都是模仿生物神經(jīng)網(wǎng)絡(luò)的，即是他們仿照大腦的運作方式工作。神經(jīng)網(wǎng)絡(luò)也得助于神經(jīng)系統(tǒng)科學的發(fā)展，使它可以像人類一樣準確地辨別物件而有電腦的速度！前途是光明的，但現(xiàn)在... 是的，神經(jīng)網(wǎng)絡(luò)也有些不好的地方。這通常都是因為缺乏足夠強大的硬件。神經(jīng)網(wǎng)絡(luò)的力量源自于以并行方式處理資訊，即是同時處理多項數(shù)據(jù)。因此，要一個串行的機器模擬并行處理是非常耗時的。神經(jīng)網(wǎng)絡(luò)的另一個問題是對某一個問題構(gòu)建網(wǎng)絡(luò)所定義的條件不足 - 有太多因素需要考慮：訓練的算法、體系結(jié)構(gòu)、每層的神經(jīng)元個數(shù)、有多少層、數(shù)據(jù)的表現(xiàn)等，還有其它更多因素。因此，隨著時間越來越重要，大部份公司不可能負擔重復的開發(fā)神經(jīng)網(wǎng)絡(luò)去有效地解決問題。 Conclusion -------------------------------------------------------------------------------- 希望您可以通過本文對神經(jīng)網(wǎng)絡(luò)有基本的認識。Generation5現(xiàn)在有很多關(guān)于神經(jīng)網(wǎng)絡(luò)的資料可以查閱，包括文章及程序。我們有Hopfield、perceptrons（2個）網(wǎng)絡(luò)的例子，及一些back-propagation個案研究。 Glossary -------------------------------------------------------------------------------- NN 神經(jīng)網(wǎng)絡(luò)，Neural Network ANNs 人工神經(jīng)網(wǎng)絡(luò)，Artificial Neural Networks neurons 神經(jīng)元 synapses 神經(jīng)鍵 self-organizing networks 自我調(diào)整網(wǎng)絡(luò) networks modelling thermodynamic properties 熱動態(tài)性網(wǎng)絡(luò)模型