首頁 > 產(chǎn)品 > 知識 > 機器學習框架，在CPU下最快的深度學習框架是哪種caffe2mkldnnnnpack 問

機器學習框架，在CPU下最快的深度學習框架是哪種caffe2mkldnnnnpack 問

來源：整理時間：2023-08-15 00:01:45 編輯：智能門戶手機版

本文目錄一覽

1，在CPU下最快的深度學習框架是哪種caffe2mkldnnnnpack 問
2，什么叫人工智能學習框架
3，有哪些windows下好用的機器學習深度學習框架
4，什么是機器學習
5，為什么機器學習的框架都偏向于Python
6，如何評價最新的深度學習框架cxxnet

1，在CPU下最快的深度學習框架是哪種caffe2mkldnnnnpack 問

英特爾的Chainer，評測目前最快。但很少人知道它目前，資料也很少。

caffe基于c++做的，里面代碼都是現(xiàn)成的，會用，看得懂就行了，主要的還是深度學習的原理要好好學習，比如神經(jīng)網(wǎng)絡，bp算法，機器學習的一些知識，像識別的一些知識

在CPU下最快的深度學習框架是哪種caffe2mkldnnnnpack 問

2，什么叫人工智能學習框架

深度學習框架也就像Caffe、tensorflow這些是深度學習的工具，簡單來說就是庫，編程時需要import caffe、import tensorflow。

用python做深度學習。感興趣可以搜搜我的課程人工智能包含機器學習，機器學習包含深度學習。深度學習是在機器學習的基礎上發(fā)展出來的，講的更詳細些

什么叫人工智能學習框架

3，有哪些windows下好用的機器學習深度學習框架

兩者不是同一個level上的，深度學習是機器學習的一種。最近火的發(fā)紫的深度學習實際上指的的深度神經(jīng)網(wǎng)絡學習，普通神經(jīng)網(wǎng)絡由于訓練代價較高，一般只有3-4層，而深度神經(jīng)網(wǎng)絡由于采用了特殊的訓練方法加上一些小trick，可以達到8-10層。深度神經(jīng)網(wǎng)絡能夠捕捉到數(shù)據(jù)中的深層聯(lián)系，從而能夠得到更精準的模型，而這些聯(lián)系不容易被普通的機器學習方法所發(fā)覺。

有哪些windows下好用的機器學習深度學習框架

4，什么是機器學習

機器學習的本質(zhì)是模式識別。一部分可以用于預測（有監(jiān)督學習，無監(jiān)督學習），另一類直接用于決策（強化學習）。相對物理微分方程代表的預測方法來說，機器學習在一定程度說是一種黑箱思想，即先不求開始找到事物發(fā)展的精確模型，而是用基本的模型框架，直接以數(shù)據(jù)驅動我們的預測。

機器學習(machine learning, ml)是一門多領域交叉學科，涉及概率論、統(tǒng)計學、逼近論、凸分析、算法復雜度理論等多門學科。專門研究計算機怎樣模擬或實現(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能?！　∷侨斯ぶ悄艿暮诵?，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域，它主要使用歸納、綜合而不是演繹。

5，為什么機器學習的框架都偏向于Python

首先python是解釋語言，寫程序很方便，所以做研究的人喜歡用它。正如為什么很多做研究的人用Matlab那樣。出成果才是研究者關心的事情，實現(xiàn)只要方便就行。然而在性能方面，我拿 python 和 c++ 做個比較。c++ 的cpu效率是遠遠高于 python 的，這點大家都承認吧。不過 python 是一門膠水語言，它可以和任何語言結合，基于這個優(yōu)點，很多數(shù)據(jù)處理的python 庫底層都是 c++ 實現(xiàn)的，意思就是說：你用python寫code，但效率是c++的。只有那些for 循環(huán)，還是用python的效率。近年來機器學習最要是深度學習，而深度學習使用cuda gpu加速遠比cpu要快，而cuda 是c++寫的。所以現(xiàn)在TensorLayer、theano 等深度學習庫都是 python 編程、底層c++。而那些for 循環(huán)的效率，在整體耗時里面完全可以忽略！有的人就會說，那為什么不直接用c++ 寫cuda？不是更快嗎？我想告訴大家，如果沒有多年的cuda經(jīng)驗，寫出來的代碼效率絕對是個問題。

python有很多科學計算的庫的支持，而且可以說非常全面。比較著名的有numpy,matplotlib而且python對函數(shù)式編程支持的很好，對于人工智能，機器學習這點很重要。 python免費開源,學習成本很低，受到很多人的喜愛。

6，如何評價最新的深度學習框架cxxnet

這篇文章介紹的是關于并行深度神經(jīng)網(wǎng)絡的設計。在今年發(fā)布的兩個機器學習項目中，cxxnet是最精彩的一個。因為它包含了我們團隊可以發(fā)揮到的機器學習和系統(tǒng)的各個方面的極致：除了前沿的深度學習之外，它的兩個獨到特點也是讓我們在設計實現(xiàn)中最為享受的1) 靈活的公式支持和極致的C++模板編程；深度神經(jīng)網(wǎng)絡的實現(xiàn)大致分兩類：以python為主的編程效率派和以c++為核心的為代表的追逐性能派。前者支持直接tensor的計算，而后者往往需要給每個神經(jīng)網(wǎng)絡的層和更新公式編寫獨立的cuda kernel。編程效率派認為機器學習程序員應該是寫公式來達到代碼最大的可讀性和易改寫性。而很多以C++為核心的代碼之所以沒有支持非常靈活的張量計算，是因為因為運算符重載和臨時空間的分配會帶來效率的降低。cxxnet的核心mshadow在這兩者之間做了一個平衡。使得我們在不損失效率的前提下可以通過模板編程技術允許開發(fā)者編寫和matlab/numpy類似的代碼，并且在編譯時自動展開成優(yōu)化的kernel。其背后的expressiontemplate技術是我最喜歡的c++ trick之一。非常值得最求效率抽象和優(yōu)美的同學了解。因為采用了mshadow作為核心，直接導致cxxnet的各種實現(xiàn)可以非常簡單可讀，編寫一份代碼就可以在GPU和CPU上面跑。使得其在代碼簡潔和可擴展上更加容易。2) 通用的并行參數(shù)共享和更新方案多卡和多機計算一直是大規(guī)模機器學習中一個讓人興奮的話題。提到神經(jīng)網(wǎng)絡并行，最讓我頭疼的是可以選擇的方案很多，而都涉及到不同的hack。單機多卡到底是用P2P，還是拷貝到內(nèi)存，是用stream開始開多線程。分布式到底是用parameter server，MPI還是自己寫一個框架?？梢赃x擇的方法很多。設計出一個分布式的代碼不難，困難的是如何讓并行的接口自然的獨立出來，使得其不會影響其它部分的實現(xiàn)。經(jīng)過不斷地考慮，最終我決定采用了mshadow-ps這樣一個統(tǒng)一的參數(shù)共享接口。簡單的說，mshadow-ps是一個GPU的異步parameter server接口（應該也是目前為止唯一一個，因為GPU線程模型和CPU不同，原有的的ps庫并不能直接用于GPU）。異步通信對于神經(jīng)網(wǎng)絡的更新非常重要。在backprop算法中，我們很早就可以獲得梯度并且進行梯度同步，而只有到下一次forward到對應層的時候才會需要這個weight。我和limu合作設計了ps風格的三個接口來解決這樣的同步問題，Push/PullReq和Pullwait。當獲backprop得梯度的時候直接調(diào)用push把梯度發(fā)送出去，并且調(diào)用pullreq請求結果。Push和Pullreq都是異步操作，背后會有單獨的線程同時完成數(shù)據(jù)拷貝同步，以及拷回的操作。而當我們需要weight之前在調(diào)用Pullwait來等待可能沒有完成的操作。這樣簡單的三個接口，使得我們可以經(jīng)過很少的改動就可以設計出多卡和分布式的神經(jīng)網(wǎng)絡來，并且在調(diào)用這些接口的時候完全不需要關系同步的實現(xiàn)是什么。值得一提的是，這樣的編程模式把多GPU，分布式以及各個通信框架直接結合起來。mshadow-ps支持單機多卡的GPU PS，以及基于parameter-server的分布式PS實現(xiàn)。同樣的也可以很容易MPI來支持多機通信。使得一個統(tǒng)一的接口，可以完成從單機多卡到分布式各種后端實現(xiàn)的支持。并且因為高效的異步通信，使得我們可以在alexnet上面達到linearspeedup(注：并行的難度在于計算和通信的時間比，weight少更加復雜的網(wǎng)絡反而更加容易線性加速，而alexnet是非常困難的例子)。經(jīng)過團隊里面大家不斷地努力，cxxnet的V2終于可以和大家見面了。除了上述介紹的技術亮點之外，還有各種好玩的特性?，F(xiàn)在把特點總結如下：1. 輕量而齊全的框架：我們盡力維持最小的依賴庫實現(xiàn)最多的功能。推薦環(huán)境下僅需要CUDA, OpenCV, MKL或BLAS即可編譯。2. 強大的統(tǒng)一的并行計算接口：基于mshadow-ps的并行計算接口采用了一份代碼解決了多GPU，多機的異步同步。同步和計算重疊，在多份測試中均可以得到線性加速比。3. 易于擴展的代碼結構：cxxnet計算核心由mshadow提供。Mshadow使用戶可以編寫numpy/matlab風格的代碼，但仍具備手動優(yōu)化cuda 代碼的靈活性。CPU和GPU共享同一份代碼，在編譯期間通過模板自動翻譯成CUDA/MKL調(diào)用。另外一些特性包括：4. CuDNN支持：Nvidia原生卷積支持，可加速計算30%！5. 及時更新的最新技術：我們將及時跟進學術界的動態(tài)，例如現(xiàn)在已經(jīng)支持MSRA的ParametricRelu和Google的Batch Normalization6. Caffe模型轉換：支持將訓練好的Caffe模型直接轉化為cxxnet模型（本周內(nèi)上線?。?. 方便的語言接口：在Python中直接進行訓練，方便可視化。Matlab也將很快提供我們相信可以通過最簡潔清晰的代碼來完成高效的C++深度神經(jīng)網(wǎng)絡實現(xiàn)。我們也歡迎對于系統(tǒng)和機器學習有興趣的同學加入到項目中來

文章TAG：機器學習框架在CPU下最快的深度學習框架是哪種caffe2mkldnnnnpack 問