DeepStream(實(shí)時(shí)分析來(lái)自攝像頭、傳感器和物聯(lián)網(wǎng)網(wǎng)關(guān)的數(shù)據(jù))高效且實(shí)時(shí)地分析來(lái)自攝像頭、傳感器、物聯(lián)網(wǎng)網(wǎng)關(guān)等的數(shù)據(jù)。NVIDIA推出采用Pascal架構(gòu)的JetsonTX2單板...英偉達(dá)在嵌入式領(lǐng)域基于ARM架構(gòu)的Jetson平臺(tái)結(jié)合自有GPU集成的Tegra系列SoC，已經(jīng)在車(chē)輛、機(jī)器視覺(jué)、人工智能相關(guān)的一些領(lǐng)域嶄露頭角，英偉達(dá)也在早前宣布推出基于TegraParker平臺(tái)的新一代JetsonTX2，將嵌入式人工智能帶入新的領(lǐng)域。

NVIDIA宣布支持vSphere、vCenter或vMotion，這將通過(guò)NVIDIAGPUCloud將用戶(hù)從自己的服務(wù)器上獲得的GPU需求連接到VMwareCloudonAWS上，使NVIDIA的GPU虛擬化技術(shù)應(yīng)用到更廣泛的領(lǐng)域，不僅是在科學(xué)研究、數(shù)據(jù)分析或人工智能領(lǐng)域，還可以加速部署在云端的現(xiàn)代應(yīng)用服務(wù)的運(yùn)行。

CUDA是GPU編程中C語(yǔ)言的擴(kuò)展包，CUDNN是封裝卷積等運(yùn)算符的庫(kù)，不是一個(gè)級(jí)別的東西。兩者的關(guān)系，CUDA可以用來(lái)實(shí)現(xiàn)cudnn定義的各種接口。早期CUDNN應(yīng)該是CUDA內(nèi)部實(shí)現(xiàn)的。但隨著NVIDIA軟件生態(tài)的發(fā)展，CUDNN團(tuán)隊(duì)肯定會(huì)選擇使用更低級(jí)、更接近硬件、更難用的工具，比如PTX，比如直寫(xiě)匯編(SASS)。

當(dāng)然，任何能寫(xiě)好CUDA的人都必須明白它的局限性。二者在生態(tài)學(xué)中的地位。當(dāng)初CUDA可以說(shuō)是英偉達(dá)用來(lái)征服世界的東西。很大程度上奠定了其在高性能計(jì)算，尤其是神經(jīng)網(wǎng)絡(luò)高性能計(jì)算中的地位。因?yàn)镃UDA在暴露硬件特性和保持軟件通用性之間找到了一個(gè)微妙且可接受的平衡。然而，隨著近年來(lái)技術(shù)的發(fā)展，情況又發(fā)生了變化。CUDA仍然肩負(fù)著軟件生態(tài)普適性的重任，高性能任務(wù)需要CUDNN、CUBLAS等高性能軟件庫(kù)來(lái)承擔(dān)。

nvidiapass是NVIDIA的云計(jì)算服務(wù)，主要針對(duì)AI推理、高性能計(jì)算等場(chǎng)景。使用基于GPU的虛擬機(jī)實(shí)例可以提供高性能的計(jì)算能力，從而幫助企業(yè)和科研機(jī)構(gòu)降低其昂貴的計(jì)算成本。該服務(wù)支持TensorRT等多種深度學(xué)習(xí)框架和工具，通過(guò)GPU進(jìn)行高效的推理計(jì)算，具有很強(qiáng)的靈活性和擴(kuò)展性。同時(shí)，nvidiapass還提供全面的安全性和可用性保障，能夠滿足企業(yè)對(duì)計(jì)算服務(wù)的高要求。

NVIDIA的Jetson平臺(tái)，由基于ARM架構(gòu)的Tegra系列SoC和自己的GPU集成而成，在車(chē)輛、機(jī)器視覺(jué)和人工智能相關(guān)的一些領(lǐng)域已經(jīng)嶄露頭角，NVIDIA也在早前宣布推出基于TegraParker平臺(tái)的新一代JetsonTX2，將嵌入式人工智能帶入新的領(lǐng)域。JetsonTX2平臺(tái)約為名片大小，功耗不到7.5W然而，與JetsonTX1相比，JetsonTX2具有兩倍的能效和兩倍的計(jì)算效率，這使得Jetson TX 2能夠提供更高效、更深入的神經(jīng)網(wǎng)絡(luò)，包括圖像分類(lèi)、導(dǎo)航和語(yǔ)音識(shí)別，具有更好的準(zhǔn)確性和響應(yīng)速度。

前幾天誤注冊(cè)了AutoDL之后，真的停不下來(lái)了。算上折扣，比阿里云和騰訊云的gpu服務(wù)器都合適。同時(shí)，AutoDL是一個(gè)容器化的實(shí)例，所以初始化在幾秒鐘內(nèi)完成。但是阿里云初始化過(guò)程中的GPU驅(qū)動(dòng)和框架構(gòu)建時(shí)間有點(diǎn)太長(zhǎng)了。如果考慮到時(shí)間，AutoDL的性別比例甚至更高。但由于實(shí)例的限制，AutoDL暫時(shí)無(wú)法編譯TensorRTBackend版本，而是編譯cuda11.2版本。

用阿里云最低的TeslaT4，4核cpu，15G內(nèi)存服務(wù)器作為參考。用sabaki玩的速度還可以，但是經(jīng)過(guò)測(cè)試，NVIDIARTX3060/12GB的性能比阿里云的TeslaT4差很多。作為T(mén)eslaT4的替代品，NVIDIARTXA4000/16GB的成績(jī)略好于TeslaT4，也符合AutoDL主頁(yè)的排名。

(分析來(lái)自攝像機(jī)、傳感器和iotGatewayRealtime的數(shù)據(jù))高效且實(shí)時(shí)地分析來(lái)自攝像機(jī)、傳感器、物聯(lián)網(wǎng)網(wǎng)關(guān)等的數(shù)據(jù)。英偉達(dá)的DeepStreamSDK提供了一套完整的數(shù)據(jù)流分析工具包，可以通過(guò)智能視頻分析(IVA)和多傳感器數(shù)據(jù)處理來(lái)感知場(chǎng)景和意識(shí)。DeepStream應(yīng)用框架具有硬件加速構(gòu)建塊，可以將深度神經(jīng)網(wǎng)絡(luò)和其他復(fù)雜的處理任務(wù)納入流處理管道。

實(shí)時(shí)視頻流分析的NVIDIADeepStreamDeepStream結(jié)構(gòu)化，其中包括實(shí)時(shí)視頻解碼和神經(jīng)網(wǎng)絡(luò)推理。解碼:多線程并行執(zhí)行，向GPUHW硬件解碼器交付各種輸入流；推理:一個(gè)主線程通過(guò)調(diào)用TensorRT推理引擎來(lái)處理所有的批量推理任務(wù)，其中，插件系統(tǒng)允許用戶(hù)向管道中添加更復(fù)雜的工作流。