深度神經(jīng)網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)模型是什么常用在什么地方這個難嗎

來源：整理時間：2023-08-27 20:27:19 編輯：智能門戶手機版

本文目錄一覽

1，神經(jīng)網(wǎng)絡(luò)模型是什么常用在什么地方這個難嗎
2，深度學(xué)習(xí) 是生成模型還是判別模型
3，在深度學(xué)習(xí)中DNN與DBN兩個網(wǎng)絡(luò)有什么區(qū)別
4，AlphaGo 用了哪些深度學(xué)習(xí)的模型
5，神經(jīng)網(wǎng)絡(luò)模型的介紹
6，如何從零使用 Keras TensorFlow 開發(fā)一個復(fù)雜深度學(xué)習(xí)模型問

1，神經(jīng)網(wǎng)絡(luò)模型是什么常用在什么地方這個難嗎

是種算法吧。常用在模式識別的問題中，不是很難，去中文論文網(wǎng)站搜搜一篇論文看看即可

神經(jīng)網(wǎng)絡(luò)模型是什么常用在什么地方這個難嗎

2，深度學(xué)習(xí) 是生成模型還是判別模型

深度學(xué)習(xí)的模型有很多，既有生成模式也有判別模式，目前開發(fā)者最常用的深度學(xué)習(xí)模型與架構(gòu)包括 CNN卷積神經(jīng)網(wǎng)絡(luò)、DBN深度信念網(wǎng)絡(luò)、RNN循環(huán)神經(jīng)網(wǎng)絡(luò)、RNTN遞歸神經(jīng)張量網(wǎng)絡(luò)、自動編碼器、GAN 生成對抗模型等。機器學(xué)習(xí)方法可以分為生成方法（generative approach）和判別方法（discriminative approach），所學(xué)到的模型分別稱為生成式模型（generative model）和判別式模型（discriminative model）。生成方法通過觀測數(shù)據(jù)學(xué)習(xí)樣本與標(biāo)簽的聯(lián)合概率分布P(X, Y)，訓(xùn)練好的模型能夠生成符合樣本分布的新數(shù)據(jù)，它可以用于有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)。判別模型：將跟蹤問題看成一個二分類問題，然后找到目標(biāo)和背景的決策邊界。它不管目標(biāo)是怎么描述的，那只要知道目標(biāo)和背景的差別在哪，然后你給一個圖像，它看它處于邊界的那一邊，就歸為哪一類。

期待看到有用的回答！

深度學(xué)習(xí) 是生成模型還是判別模型

3，在深度學(xué)習(xí)中DNN與DBN兩個網(wǎng)絡(luò)有什么區(qū)別

dnn 從名字上你就可以看出來，是深度神經(jīng)網(wǎng)絡(luò)，類比于淺層神經(jīng)網(wǎng)絡(luò)，它的訓(xùn)練方法也是BP，沒有引入無監(jiān)督的預(yù)訓(xùn)練。隱層的激活函數(shù)使用了 ReLU,改善了“梯度彌散”，通過正則化+dropout 改善了過擬合的現(xiàn)象，在輸出層是softmax 作為激活函數(shù)。目標(biāo)函數(shù)是交叉熵。他是一個有監(jiān)督的判別模型。stacked denoised autoencoder (SDA)深度學(xué)習(xí)結(jié)構(gòu)，和DBN類似使用無監(jiān)督的網(wǎng)絡(luò)“堆疊”起來的，他有分層預(yù)訓(xùn)練來尋找更好的參數(shù)，最后使用BP來微調(diào)網(wǎng)絡(luò)。比dnn利用各種算法來初始化權(quán)值矩陣，從經(jīng)驗上來看是有幫助的。但是缺點也很明顯，每層的貪婪學(xué)習(xí)權(quán)值矩陣，也帶來了過長的訓(xùn)練時間。在大量的數(shù)據(jù)面前 dnn(relu)的效果已經(jīng)不差于預(yù)訓(xùn)練的深度學(xué)習(xí)結(jié)構(gòu)了。最終DBN也是看成是“生成模型”。CNN 也沒有pre-train過程，訓(xùn)練算法也是用BP。因為加入卷積可以更好的處理2D數(shù)據(jù)，例如圖像和語音。并且目前看來相比其它網(wǎng)絡(luò)有更好的表現(xiàn)。dnn/dbn/sda 等都是處理1D的數(shù)據(jù)。

在深度學(xué)習(xí)中DNN與DBN兩個網(wǎng)絡(luò)有什么區(qū)別

4，AlphaGo 用了哪些深度學(xué)習(xí)的模型

AlphaGo用了一個深度學(xué)習(xí)的模型：卷積神經(jīng)網(wǎng)絡(luò)模型。阿爾法圍棋（AlphaGo）是一款圍棋人工智能程序。其主要工作原理是“深度學(xué)習(xí)”。“深度學(xué)習(xí)”是指多層的人工神經(jīng)網(wǎng)絡(luò)和訓(xùn)練它的方法。一層神經(jīng)網(wǎng)絡(luò)會把大量矩陣數(shù)字作為輸入，通過非線性激活方法取權(quán)重，再產(chǎn)生另一個數(shù)據(jù)集合作為輸出。這就像生物神經(jīng)大腦的工作機理一樣，通過合適的矩陣數(shù)量，多層組織鏈接一起，形成神經(jīng)網(wǎng)絡(luò)“大腦”進行精準(zhǔn)復(fù)雜的處理，就像人們識別物體標(biāo)注圖片一樣。擴展資料：阿爾法圍棋用到了很多新技術(shù)，如神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、蒙特卡洛樹搜索法等，使其實力有了實質(zhì)性飛躍。美國臉書公司“黑暗森林”圍棋軟件的開發(fā)者田淵棟在網(wǎng)上發(fā)表分析文章說，阿爾法圍棋系統(tǒng)主要由幾個部分組成：一、策略網(wǎng)絡(luò)（Policy Network），給定當(dāng)前局面，預(yù)測并采樣下一步的走棋；二、快速走子（Fast rollout），目標(biāo)和策略網(wǎng)絡(luò)一樣，但在適當(dāng)犧牲走棋質(zhì)量的條件下，速度要比策略網(wǎng)絡(luò)快1000倍；三、價值網(wǎng)絡(luò)（Value Network），給定當(dāng)前局面，估計是白勝概率大還是黑勝概率大；四、蒙特卡洛樹搜索（Monte Carlo Tree Search），把以上這三個部分連起來，形成一個完整的系統(tǒng)。參考資料來源：搜狗百科-阿爾法圍棋（圍棋機器人）搜狗百科-深度學(xué)習(xí)

AlphaGo依靠精確的專家評估系統(tǒng)（value network）、基于海量數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)（policy network），及傳統(tǒng)的人工智能方法蒙特卡洛樹搜索的組合，以及可以通過左右互搏提高自己的水平，這個真的是有的恐怖了有木有。李世石九段固然厲害，可人類畢竟是動物，機器軟件程序是無休止的工作，這一點也是客觀因素了。比賽已經(jīng)結(jié)束了，李世石一比四不敵alphago。

5，神經(jīng)網(wǎng)絡(luò)模型的介紹

神經(jīng)網(wǎng)絡(luò)（Neural Networks,NN）是由大量的、簡單的處理單元（稱為神經(jīng)元）廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個高度復(fù)雜的非線性動力學(xué)習(xí)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲和處理、自組織、自適應(yīng)和自學(xué)能力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認(rèn)知科學(xué)、計算機科學(xué)、人工智能、信息科學(xué)、控制論、機器人學(xué)、微電子學(xué)、心理學(xué)、光計算、分子生物學(xué)等有關(guān)，是一門新興的邊緣交叉學(xué)科。神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)在于神經(jīng)元。神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細(xì)胞為基礎(chǔ)的生物模型。在人們對生物神經(jīng)系統(tǒng)進行研究，以探討人工智能的機制時，把神經(jīng)元數(shù)學(xué)化，從而產(chǎn)生了神經(jīng)元數(shù)學(xué)模型。大量的形式相同的神經(jīng)元連結(jié)在—起就組成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一個高度非線性動力學(xué)系統(tǒng)。雖然，每個神經(jīng)元的結(jié)構(gòu)和功能都不復(fù)雜，但是神經(jīng)網(wǎng)絡(luò)的動態(tài)行為則是十分復(fù)雜的；因此，用神經(jīng)網(wǎng)絡(luò)可以表達(dá)實際物理世界的各種現(xiàn)象。神經(jīng)網(wǎng)絡(luò)模型是以神經(jīng)元的數(shù)學(xué)模型為基礎(chǔ)來描述的。人工神經(jīng)網(wǎng)絡(luò)(ArtificialNuearlNewtokr)s,是對人類大腦系統(tǒng)的一階特性的一種描。簡單地講,它是一個數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)模型由網(wǎng)絡(luò)拓?fù)洌?jié)點特點和學(xué)習(xí)規(guī)則來表示。神經(jīng)網(wǎng)絡(luò)對人們的巨大吸引力主要在下列幾點：1．并行分布處理。2．高度魯棒性和容錯能力。3．分布存儲及學(xué)習(xí)能力。4．能充分逼近復(fù)雜的非線性關(guān)系。在控制領(lǐng)域的研究課題中，不確定性系統(tǒng)的控制問題長期以來都是控制理論研究的中心主題之一，但是這個問題一直沒有得到有效的解決。利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，使它在對不確定性系統(tǒng)的控制過程中自動學(xué)習(xí)系統(tǒng)的特性，從而自動適應(yīng)系統(tǒng)隨時間的特性變異，以求達(dá)到對系統(tǒng)的最優(yōu)控制；顯然這是一種十分振奮人心的意向和方法。人工神經(jīng)網(wǎng)絡(luò)的模型現(xiàn)在有數(shù)十種之多，應(yīng)用較多的典型的神經(jīng)網(wǎng)絡(luò)模型包括BP神經(jīng)網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、ART網(wǎng)絡(luò)和Kohonen網(wǎng)絡(luò)。學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)一種最重要也最令人注目的特點。在神經(jīng)網(wǎng)絡(luò)的發(fā)展進程中,學(xué)習(xí)算法的研究有著十分重要的地位。目前,人們所提出的神經(jīng)網(wǎng)絡(luò)模型都是和學(xué)習(xí)算法相應(yīng)的。所以,有時人們并不去祈求對模型和算法進行嚴(yán)格的定義或區(qū)分。有的模型可以有多種算法。而有的算法可能可用于多種模型。在神經(jīng)網(wǎng)絡(luò)中,對外部環(huán)境提供的模式樣本進行學(xué)習(xí)訓(xùn)練,并能存儲這種模式,則稱為感知器;對外部環(huán)境有適應(yīng)能力,能自動提取外部環(huán)境變化特征,則稱為認(rèn)知器。神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)中,一般分為有教師和無教師學(xué)習(xí)兩種。感知器采用有教師信號進行學(xué)習(xí),而認(rèn)知器則采用無教師信號學(xué)習(xí)的。在主要神經(jīng)網(wǎng)絡(luò)如Bp網(wǎng)絡(luò),Hopfield網(wǎng)絡(luò),ART絡(luò)和Kohonen網(wǎng)絡(luò)中;Bp網(wǎng)絡(luò)和Hopfield網(wǎng)絡(luò)是需要教師信號才能進行學(xué)習(xí)的;而ART網(wǎng)絡(luò)和Khonone網(wǎng)絡(luò)則無需教師信號就可以學(xué)習(xí)49[]。所謂教師信號,就是在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中由外部提供的模式樣本信號。

6，如何從零使用 Keras TensorFlow 開發(fā)一個復(fù)雜深度學(xué)習(xí)模型問

這篇文章介紹的是關(guān)于并行深度神經(jīng)網(wǎng)絡(luò)的設(shè)計。在今年發(fā)布的兩個機器學(xué)習(xí)項目中，cxxnet是最精彩的一個。因為它包含了我們團隊可以發(fā)揮到的機器學(xué)習(xí)和系統(tǒng)的各個方面的極致：除了前沿的深度學(xué)習(xí)之外，它的兩個獨到特點也是讓我們在設(shè)計實現(xiàn)中最為享受的1)靈活的公式支持和極致的C++模板編程；深度神經(jīng)網(wǎng)絡(luò)的實現(xiàn)大致分兩類：以python為主的編程效率派和以c++為核心的為代表的追逐性能派。前者支持直接tensor的計算，而后者往往需要給每個神經(jīng)網(wǎng)絡(luò)的層和更新公式編寫?yīng)毩⒌腸udakernel。編程效率派認(rèn)為機器學(xué)習(xí)程序員應(yīng)該是寫公式來達(dá)到代碼最大的可讀性和易改寫性。而很多以C++為核心的代碼之所以沒有支持非常靈活的張量計算，是因為因為運算符重載和臨時空間的分配會帶來效率的降低。cxxnet的核心mshadow在這兩者之間做了一個平衡。使得我們在不損失效率的前提下可以通過模板編程技術(shù)允許開發(fā)者編寫和matlab/numpy類似的代碼，并且在編譯時自動成優(yōu)化的kernel。其背后的expressiontemplate技術(shù)是我最喜歡的c++trick之一。非常值得最求效率抽象和優(yōu)美的同學(xué)了解。因為采用了mshadow作為核心，直接導(dǎo)致cxxnet的各種實現(xiàn)可以非常簡單可讀，編寫一份代碼就可以在GPU和CPU上面跑。使得其在代碼簡潔和可擴展上更加容易。2)通用的并行參數(shù)共享和更新方案多卡和多機計算一直是大規(guī)模機器學(xué)習(xí)中一個讓人興奮的話題。提到神經(jīng)網(wǎng)絡(luò)并行，最讓我頭疼的是可以選擇的方案很多，而都涉及到不同的hack。單機多卡到底是用P2P，還是拷貝到內(nèi)存，是用stream開始開多線程。分布式到底是用parameterserver，MPI還是自己寫一個框架?？梢赃x擇的方法很多。設(shè)計出一個分布式的代碼不難，困難的是如何讓并行的接口自然的獨立出來，使得其不會影響其它部分的實現(xiàn)。經(jīng)過不斷地考慮，最終我決定采用了mshadow-ps這樣一個統(tǒng)一的參數(shù)共享接口。簡單的說，mshadow-ps是一個GPU的異步parameterserver接口（應(yīng)該也是目前為止唯一一個，因為GPU線程模型和CPU不同，原有的的ps庫并不能直接用于GPU）。異步通信對于神經(jīng)網(wǎng)絡(luò)的更新非常重要。在backprop算法中，我們很早就可以獲得梯度并且進行梯度同步，而只有到下一次forward到對應(yīng)層的時候才會需要這個weight。我和limu合作設(shè)計了ps風(fēng)格的三個接口來解決這樣的同步問題，Push/PullReq和Pullwait。當(dāng)獲backprop得梯度的時候直接調(diào)用push把梯度發(fā)送出去，并且調(diào)用pullreq請求結(jié)果。Push和Pullreq都是異步操作，背后會有單獨的線程同時完成數(shù)據(jù)拷貝同步，以及拷回的操作。而當(dāng)我們需要weight之前在調(diào)用Pullwait來等待可能沒有完成的操作。這樣簡單的三個接口，使得我們可以經(jīng)過很少的改動就可以設(shè)計出多卡和分布式的神經(jīng)網(wǎng)絡(luò)來，并且在調(diào)用這些接口的時候完全不需要關(guān)系同步的實現(xiàn)是什么。值得一提的是，這樣的編程模式把多GPU，分布式以及各個通信框架直接結(jié)合起來。mshadow-ps支持單機多卡的GPUPS，以及基于parameter-server的分布式PS實現(xiàn)。同樣的也可以很容易MPI來支持多機通信。使得一個統(tǒng)一的接口，可以完成從單機多卡到分布式各種后端實現(xiàn)的支持。并且因為高效的異步通信，使得我們可以在alexnet上面達(dá)到linearspeedup(注：并行的難度在于計算和通信的時間比，weight少更加復(fù)雜的網(wǎng)絡(luò)反而更加容易線性加速，而alexnet是非常困難的例子)。經(jīng)過團隊里面大家不斷地努力，cxxnet的V2終于可以和大家見面了。除了上述介紹的技術(shù)亮點之外，還有各種好玩的特性?，F(xiàn)在把特點總結(jié)如下：1.輕量而齊全的框架：我們盡力維持最小的依賴庫實現(xiàn)最多的功能。推薦環(huán)境下僅需要CUDA,OpenCV,MKL或BLAS即可編譯。2.強大的統(tǒng)一的并行計算接口：基于mshadow-ps的并行計算接口采用了一份代碼解決了多GPU，多機的異步同步。同步和計算重疊，在多份測試中均可以得到線性加速比。3.易于擴展的代碼結(jié)構(gòu)：cxxnet計算核心由mshadow提供。Mshadow使用戶可以編寫numpy/matlab風(fēng)格的代碼，但仍具備手動優(yōu)化cuda代碼的靈活性。CPU和GPU共享同一份代碼，在編譯期間通過模板自動翻譯成CUDA/MKL調(diào)用。另外一些特性包括：4.CuDNN支持：Nvidia原生卷積支持，可加速計算30%！5.及時更新的最新技術(shù)：我們將及時跟進學(xué)術(shù)界的動態(tài)，例如現(xiàn)在已經(jīng)支持MSRA的ParametricRelu和Google的BatchNormalization6.Caffe模型轉(zhuǎn)換：支持將訓(xùn)練好的Caffe模型直接轉(zhuǎn)化為cxxnet模型（本周內(nèi)上線?。?.方便的語言接口：在Python中直接進行訓(xùn)練，方便可視化。Matlab也將很快提供我們相信可以通過最簡潔清晰的代碼來完成高效的C++深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)。我們也歡迎對于系統(tǒng)和機器學(xué)習(xí)有興趣的同學(xué)加入到項目中來