人工神經(jīng)網(wǎng)絡(luò)算法，什么是人工神經(jīng)網(wǎng)絡(luò)及其算法實現(xiàn)方式

來源：整理時間：2023-09-06 21:12:39 編輯：智能門戶手機版

本文目錄一覽

1，什么是人工神經(jīng)網(wǎng)絡(luò)及其算法實現(xiàn)方式
2，什么是人工神經(jīng)元算法
3，什么是神經(jīng)網(wǎng)絡(luò)的BP算法
4，神經(jīng)網(wǎng)絡(luò)算法是什么

1，什么是人工神經(jīng)網(wǎng)絡(luò)及其算法實現(xiàn)方式

數(shù)學(xué)工具，實現(xiàn)兩組數(shù)據(jù)的映射（類似函數(shù)的映射，不同的是它強大地實現(xiàn)了兩組任意階矩陣之間的映射關(guān)系）最經(jīng)典的算法是：BP算法。其思想是利用誤差作為修正映射精確度的指導(dǎo)，最終實現(xiàn)符合要求的映射。

什么是人工神經(jīng)網(wǎng)絡(luò)及其算法實現(xiàn)方式

2，什么是人工神經(jīng)元算法

人工神經(jīng)網(wǎng)絡(luò)算法 “人工神經(jīng)網(wǎng)絡(luò)”(ARTIFICIAL NEURAL NETWORK，簡稱ANN)是在對人腦組織結(jié)構(gòu)和運行機制的認識理解基礎(chǔ)之上模擬其結(jié)構(gòu)和智能行為的一種工程系統(tǒng)。早在本世紀40年代初期，心理學(xué)家McCulloch、數(shù)學(xué)家Pitts就提出了人工神經(jīng)網(wǎng)絡(luò)的第一個數(shù)學(xué)模型，從此開創(chuàng)了神經(jīng)科學(xué)理論的研究時代。其后，F(xiàn) Rosenblatt、Widrow和J. J .Hopfield等學(xué)者又先后提出了感知模型，使得人工神經(jīng)網(wǎng)絡(luò)技術(shù)得以蓬勃發(fā)展。神經(jīng)系統(tǒng)的基本構(gòu)造是神經(jīng)元(神經(jīng)細胞)，它是處理人體內(nèi)各部分之間相互信息傳遞的基本單元。據(jù)神經(jīng)生物學(xué)家研究的結(jié)果表明，人的一個大腦一般有1010～1011個神經(jīng)元。每個神經(jīng)元都由一個細胞體，一個連接其他神經(jīng)元的軸突和一些向外伸出的其它較短分支——樹突組成。軸突的功能是將本神經(jīng)元的輸出信號(興奮)傳遞給別的神經(jīng)元。其末端的許多神經(jīng)末梢使得興奮可以同時傳送給多個神經(jīng)元。樹突的功能是接受來自其它神經(jīng)元的興奮。神經(jīng)元細胞體將接受到的所有信號進行簡單處理(如：加權(quán)求和，即對所有的輸入信號都加以考慮且對每個信號的重視程度——體現(xiàn)在權(quán)值上——有所不同)后由軸突輸出。神經(jīng)元的樹突與另外的神經(jīng)元的神經(jīng)末梢相連的部分稱為突觸。

什么是人工神經(jīng)元算法

3，什么是神經(jīng)網(wǎng)絡(luò)的BP算法

簡介：BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer) 　　摘要：ＢＰ神經(jīng)網(wǎng)絡(luò)算法是在ＢＰ神經(jīng)網(wǎng)絡(luò)現(xiàn)有算法的基礎(chǔ)上提出的，是通過任意選定一組權(quán)值，將給定的目標輸出直接作為線性方程的代數(shù)和來建立線性方程組，解得待求權(quán)，不存在傳統(tǒng)方法的局部極小及收斂速度慢的問題，且更易理解。　　關(guān)鍵詞：固定權(quán)值；ｇａｕｓｓ消元法；ＢＰ算法　　人工神經(jīng)網(wǎng)絡(luò)（ａｒｔｉｆｉｃｉａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ，ＡＮＮ）系統(tǒng)是２０世紀４０年代后出現(xiàn)的，它是由眾多的神經(jīng)元可調(diào)的連接權(quán)值連接而成，具有大規(guī)模并行處理、分布式信息存儲、良好的自組織自學(xué)習(xí)能力等特點，在信息處理、模式識別、智能控制及系統(tǒng)建模等領(lǐng)域得到越來越廣泛的應(yīng)用。尤其誤差反向傳播算法（ＥｒｒｏｒＢａｃｋ－ｐｒｏｐａｇａｔｉｏｎＴｒａｉｎｉｎｇ，簡稱ＢＰ網(wǎng)絡(luò)）可以逼近任意連續(xù)函數(shù)，具有很強的非線性映射能力，而且網(wǎng)絡(luò)的中間層數(shù)、各層的處理單元數(shù)及網(wǎng)絡(luò)的學(xué)習(xí)系數(shù)等參數(shù)可根據(jù)具體情況設(shè)定，靈活性很大，所以它在許多應(yīng)用領(lǐng)域中起到重要作用。近年來，為了解決ＢＰ神經(jīng)網(wǎng)絡(luò)收斂速度慢、不能保證收斂到全局最小點，網(wǎng)絡(luò)的中間層及它的單元數(shù)選取無理論指導(dǎo)及網(wǎng)絡(luò)學(xué)習(xí)和記憶的不穩(wěn)定性等缺陷，提出了許多改進算法。　　１傳統(tǒng)的ＢＰ算法簡述　?。拢兴惴ㄊ且环N有監(jiān)督式的學(xué)習(xí)算法，其主要思想是：輸入學(xué)習(xí)樣本，使用反向傳播算法對網(wǎng)絡(luò)的權(quán)值和偏差進行反復(fù)的調(diào)整訓(xùn)練，使輸出的向量與期望向量盡可能地接近，當網(wǎng)絡(luò)輸出層的誤差平方和小于指定的誤差時訓(xùn)練完成，保存網(wǎng)絡(luò)的權(quán)值和偏差。具體步驟如下：　　（１）初始化，隨機給定各連接權(quán)［ｗ］,［ｖ］及閥值θi，ｒt。　?。ǎ玻┯山o定的輸入輸出模式對計算隱層、輸出層各單元輸出　?。鈐＝ｆ（■wijai-θj）ｃt＝ｆ（■vjtbj－ｒt）　　式中：ｂj為隱層第ｊ個神經(jīng)元實際輸出；ｃt為輸出層第ｔ個神經(jīng)元的實際輸出；wij為輸入層至隱層的連接權(quán)；vjt為隱層至輸出層的連接權(quán)。　?。鋞k＝（ｙtk－ｃt）ｃt（１－ｃt）ｅjk＝［■dtvjt］ｂj（１－ｂj）　　式中：ｄtk為輸出層的校正誤差；ｅjk為隱層的校正誤差。　　（３）計算新的連接權(quán)及閥值，計算公式如下：　?。鰆t（ｎ＋１）＝ｖjt（ｎ）＋?琢ｄtkｂj ｗij（ｎ＋１）＝ｗij（ｎ）＋?茁ｅjkａik 　　ｒt（ｎ＋１）＝ｒt（ｎ）＋?琢ｄtk θj（ｎ＋１）=θj（ｎ）＋?茁ｅjk 　　式中：?琢，?茁為學(xué)習(xí)系數(shù)（０＜?琢＜１，０＜?茁＜１）。　?。ǎ矗┻x取下一個輸入模式對返回第２步反復(fù)訓(xùn)練直到網(wǎng)絡(luò)設(shè)輸出誤差達到要求結(jié)束訓(xùn)練。　　傳統(tǒng)的ＢＰ算法，實質(zhì)上是把一組樣本輸入/輸出問題轉(zhuǎn)化為一個非線性優(yōu)化問題，并通過負梯度下降算法，利用迭代運算求解權(quán)值問題的一種學(xué)習(xí)方法，但其收斂速度慢且容易陷入局部極小，為此提出了一種新的算法，即高斯消元法。

什么是神經(jīng)網(wǎng)絡(luò)的BP算法

4，神經(jīng)網(wǎng)絡(luò)算法是什么

Introduction --------------------------------------------------------------------------------神經(jīng)網(wǎng)絡(luò)是新技術(shù)領(lǐng)域中的一個時尚詞匯。很多人聽過這個詞，但很少人真正明白它是什么。本文的目的是介紹所有關(guān)于神經(jīng)網(wǎng)絡(luò)的基本包括它的功能、一般結(jié)構(gòu)、相關(guān)術(shù)語、類型及其應(yīng)用?！吧窠?jīng)網(wǎng)絡(luò)”這個詞實際是來自于生物學(xué)，而我們所指的神經(jīng)網(wǎng)絡(luò)正確的名稱應(yīng)該是“人工神經(jīng)網(wǎng)絡(luò)（ANNs）”。在本文，我會同時使用這兩個互換的術(shù)語。一個真正的神經(jīng)網(wǎng)絡(luò)是由數(shù)個至數(shù)十億個被稱為神經(jīng)元的細胞（組成我們大腦的微小細胞）所組成，它們以不同方式連接而型成網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)就是嘗試模擬這種生物學(xué)上的體系結(jié)構(gòu)及其操作。在這里有一個難題：我們對生物學(xué)上的神經(jīng)網(wǎng)絡(luò)知道的不多！因此，不同類型之間的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)有很大的不同，我們所知道的只是神經(jīng)元基本的結(jié)構(gòu)。The neuron --------------------------------------------------------------------------------雖然已經(jīng)確認在我們的大腦中有大約50至500種不同的神經(jīng)元，但它們大部份都是基于基本神經(jīng)元的特別細胞?；旧窠?jīng)元包含有synapses、soma、axon及dendrites。Synapses負責(zé)神經(jīng)元之間的連接，它們不是直接物理上連接的，而是它們之間有一個很小的空隙允許電子訊號從一個神經(jīng)元跳到另一個神經(jīng)元。然后這些電子訊號會交給soma處理及以其內(nèi)部電子訊號將處理結(jié)果傳遞給axon。而axon會將這些訊號分發(fā)給dendrites。最后，dendrites帶著這些訊號再交給其它的synapses，再繼續(xù)下一個循環(huán)。如同生物學(xué)上的基本神經(jīng)元，人工的神經(jīng)網(wǎng)絡(luò)也有基本的神經(jīng)元。每個神經(jīng)元有特定數(shù)量的輸入，也會為每個神經(jīng)元設(shè)定權(quán)重（weight）。權(quán)重是對所輸入的資料的重要性的一個指標。然后，神經(jīng)元會計算出權(quán)重合計值（net value），而權(quán)重合計值就是將所有輸入乘以它們的權(quán)重的合計。每個神經(jīng)元都有它們各自的臨界值（threshold），而當權(quán)重合計值大于臨界值時，神經(jīng)元會輸出1。相反，則輸出0。最后，輸出會被傳送給與該神經(jīng)元連接的其它神經(jīng)元繼續(xù)剩余的計算。Learning --------------------------------------------------------------------------------正如上述所寫，問題的核心是權(quán)重及臨界值是該如何設(shè)定的呢？世界上有很多不同的訓(xùn)練方式，就如網(wǎng)絡(luò)類型一樣多。但有些比較出名的包括back-propagation, delta rule及Kohonen訓(xùn)練模式。由于結(jié)構(gòu)體系的不同，訓(xùn)練的規(guī)則也不相同，但大部份的規(guī)則可以被分為二大類別 - 監(jiān)管的及非監(jiān)管的。監(jiān)管方式的訓(xùn)練規(guī)則需要“教師”告訴他們特定的輸入應(yīng)該作出怎樣的輸出。然后訓(xùn)練規(guī)則會調(diào)整所有需要的權(quán)重值（這是網(wǎng)絡(luò)中是非常復(fù)雜的），而整個過程會重頭開始直至數(shù)據(jù)可以被網(wǎng)絡(luò)正確的分析出來。監(jiān)管方式的訓(xùn)練模式包括有back-propagation及delta rule。非監(jiān)管方式的規(guī)則無需教師，因為他們所產(chǎn)生的輸出會被進一步評估。Architecture --------------------------------------------------------------------------------在神經(jīng)網(wǎng)絡(luò)中，遵守明確的規(guī)則一詞是最“模糊不清”的。因為有太多不同種類的網(wǎng)絡(luò)，由簡單的布爾網(wǎng)絡(luò)（Perceptrons），至復(fù)雜的自我調(diào)整網(wǎng)絡(luò)（Kohonen），至熱動態(tài)性網(wǎng)絡(luò)模型（Boltzmann machines）！而這些，都遵守一個網(wǎng)絡(luò)體系結(jié)構(gòu)的標準。一個網(wǎng)絡(luò)包括有多個神經(jīng)元“層”，輸入層、隱蔽層及輸出層。輸入層負責(zé)接收輸入及分發(fā)到隱蔽層（因為用戶看不見這些層，所以見做隱蔽層）。這些隱蔽層負責(zé)所需的計算及輸出結(jié)果給輸出層，而用戶則可以看到最終結(jié)果?，F(xiàn)在，為免混淆，不會在這里更深入的探討體系結(jié)構(gòu)這一話題。對于不同神經(jīng)網(wǎng)絡(luò)的更多詳細資料可以看Generation5 essays盡管我們討論過神經(jīng)元、訓(xùn)練及體系結(jié)構(gòu)，但我們還不清楚神經(jīng)網(wǎng)絡(luò)實際做些什么。The Function of ANNs --------------------------------------------------------------------------------神經(jīng)網(wǎng)絡(luò)被設(shè)計為與圖案一起工作 - 它們可以被分為分類式或聯(lián)想式。分類式網(wǎng)絡(luò)可以接受一組數(shù)，然后將其分類。例如ONR程序接受一個數(shù)字的影象而輸出這個數(shù)字?；蛘逷PDA32程序接受一個坐標而將它分類成A類或B類（類別是由所提供的訓(xùn)練決定的）。更多實際用途可以看Applications in the Military中的軍事雷達，該雷達可以分別出車輛或樹。聯(lián)想模式接受一組數(shù)而輸出另一組。例如HIR程序接受一個臟圖像而輸出一個它所學(xué)過而最接近的一個圖像。聯(lián)想模式更可應(yīng)用于復(fù)雜的應(yīng)用程序，如簽名、面部、指紋識別等。The Ups and Downs of Neural Networks --------------------------------------------------------------------------------神經(jīng)網(wǎng)絡(luò)在這個領(lǐng)域中有很多優(yōu)點，使得它越來越流行。它在類型分類/識別方面非常出色。神經(jīng)網(wǎng)絡(luò)可以處理例外及不正常的輸入數(shù)據(jù)，這對于很多系統(tǒng)都很重要（例如雷達及聲波定位系統(tǒng)）。很多神經(jīng)網(wǎng)絡(luò)都是模仿生物神經(jīng)網(wǎng)絡(luò)的，即是他們仿照大腦的運作方式工作。神經(jīng)網(wǎng)絡(luò)也得助于神經(jīng)系統(tǒng)科學(xué)的發(fā)展，使它可以像人類一樣準確地辨別物件而有電腦的速度！前途是光明的，但現(xiàn)在...是的，神經(jīng)網(wǎng)絡(luò)也有些不好的地方。這通常都是因為缺乏足夠強大的硬件。神經(jīng)網(wǎng)絡(luò)的力量源自于以并行方式處理資訊，即是同時處理多項數(shù)據(jù)。因此，要一個串行的機器模擬并行處理是非常耗時的。神經(jīng)網(wǎng)絡(luò)的另一個問題是對某一個問題構(gòu)建網(wǎng)絡(luò)所定義的條件不足 - 有太多因素需要考慮：訓(xùn)練的算法、體系結(jié)構(gòu)、每層的神經(jīng)元個數(shù)、有多少層、數(shù)據(jù)的表現(xiàn)等，還有其它更多因素。因此，隨著時間越來越重要，大部份公司不可能負擔(dān)重復(fù)的開發(fā)神經(jīng)網(wǎng)絡(luò)去有效地解決問題。NN 神經(jīng)網(wǎng)絡(luò)，Neural Network ANNs 人工神經(jīng)網(wǎng)絡(luò)，Artificial Neural Networks neurons 神經(jīng)元 synapses 神經(jīng)鍵 self-organizing networks 自我調(diào)整網(wǎng)絡(luò) networks modelling thermodynamic properties 熱動態(tài)性網(wǎng)絡(luò)模型 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++網(wǎng)格算法我沒聽說過好像只有網(wǎng)格計算這個詞網(wǎng)格計算是伴隨著互聯(lián)網(wǎng)技術(shù)而迅速發(fā)展起來的，專門針對復(fù)雜科學(xué)計算的新型計算模式。這種計算模式是利用互聯(lián)網(wǎng)把分散在不同地理位置的電腦組織成一個“虛擬的超級計算機”，其中每一臺參與計算的計算機就是一個“節(jié)點”，而整個計算是由成千上萬個“節(jié)點”組成的“一張網(wǎng)格”，所以這種計算方式叫網(wǎng)格計算。這樣組織起來的“虛擬的超級計算機”有兩個優(yōu)勢，一個是數(shù)據(jù)處理能力超強；另一個是能充分利用網(wǎng)上的閑置處理能力。簡單地講，網(wǎng)格是把整個網(wǎng)絡(luò)整合成一臺巨大的超級計算機，實現(xiàn)計算資源、存儲資源、數(shù)據(jù)資源、信息資源、知識資源、專家資源的全面共享。

神經(jīng)網(wǎng)絡(luò)算法是指模擬生物的神經(jīng)結(jié)構(gòu)以及其處理信息的方式來進行計算一種算法。網(wǎng)格計算是網(wǎng)格并行計算的一種，，另一種是機群計算，其目標是將廣域網(wǎng)上一些計算資源、數(shù)據(jù)源和其他設(shè)備等互聯(lián)，形成一個大的可相互利用、合作的高性能計算網(wǎng)，用戶可以像登陸一臺超級巨型機一樣使用它。