首頁 > 廠商 > 問答 > softmax，softmax和softmaxloss的區(qū)別

softmax，softmax和softmaxloss的區(qū)別

來源：整理時間：2024-12-14 04:35:04 編輯：智能門戶手機版

本文目錄一覽

1，softmax和softmaxloss的區(qū)別
2，機器學(xué)習(xí)中softmax函數(shù)到底干嘛用的比如LR中和神經(jīng)網(wǎng)絡(luò)中求
3，深度學(xué)習(xí)最后為什么是softmax
4，多類分類下為什么用softmax而不是用其他歸一化方法
5，softmax算法為什么采用softmax function作為每一個類別的概率
6，Softmage3DSMAXMaya的詳細介紹

1，softmax和softmaxloss的區(qū)別

logistic回歸又稱logistic回歸分析，是一種廣義的線性回歸分析模型，常用于數(shù)據(jù)挖掘，疾病自動診斷，經(jīng)濟預(yù)測等領(lǐng)域?！　±?，探討引發(fā)疾病的危險因素，并根據(jù)危險因素預(yù)測疾病發(fā)生的概率等。

不明白啊 = =！

softmax和softmaxloss的區(qū)別

2，機器學(xué)習(xí)中softmax函數(shù)到底干嘛用的比如LR中和神經(jīng)網(wǎng)絡(luò)中求

首先你要知道softmax函數(shù)是干嘛的。softmax是一個可以把連續(xù)的數(shù)輸出成一個在0到1之間的數(shù)。它的輸出，表征了不同類別間的相對概率。比如你的網(wǎng)絡(luò)輸出是[-3，2，-1，0]，但你想要的值域是0到1，用softmax處理后，輸出就變成了[0.0057,0.8390,0.0418,0.1135]。是不是就變成你想要的結(jié)果了。當(dāng)然，softmax函數(shù)也可以被當(dāng)做激活函數(shù)，不止用在輸出的處理。

機器學(xué)習(xí)中softmax函數(shù)到底干嘛用的比如LR中和神經(jīng)網(wǎng)絡(luò)中求

3，深度學(xué)習(xí)最后為什么是softmax

softmax的定義域是一個向量，值域是概率單純型（求和等于1）。sigmoid函數(shù)的定義域是r，值域是(0,1)。https://www.zhihu.com/question/36981158/answer/70170685softmax能給出屬于每一個類別的概率，而很多package不用softmax的時候是二分

softmax是用于多分類的損失函數(shù)，深度學(xué)習(xí)也不一定要用softmax，像google的facenet就沒有softmax，關(guān)于這方面建議你去去搜索關(guān)于softmax和邏輯回歸的博客，看了理解了便懂了

深度學(xué)習(xí)最后為什么是softmax

4，多類分類下為什么用softmax而不是用其他歸一化方法

如果用 cross entropy 做 cost function 的話，backpropagation 的時候要針對 cross entropy 求導(dǎo)，并向后傳導(dǎo)。假設(shè)當(dāng)前樣本的 label 為，對應(yīng)輸出層結(jié)點為，那么 cost 是，求導(dǎo)可得。這里面就是從輸出層開始還得往后傳繼續(xù)求導(dǎo)的部分。這里在（即輸出層輸出的概率）比較小的時候，會出現(xiàn) numerically unstable (overflow) 的情況，很容易就強擼灰飛煙滅了。而如果輸出層是 softmax（或者二分類時的 sigmoid，其實可以看成 softmax 的一種特殊情況），這個分母部分剛好可以被 softmax 層的導(dǎo)數(shù)（部分）消除。

logistic回歸又稱logistic回歸分析，是一種廣義的線性回歸分析模型，常用于數(shù)據(jù)挖掘，疾病自動診斷，經(jīng)濟預(yù)測等領(lǐng)域。例如，探討引發(fā)疾病的危險因素，并根據(jù)危險因素預(yù)測疾病發(fā)生的概率等。

5，softmax算法為什么采用softmax function作為每一個類別的概率

先理解max. 對一個三類問題，某樣本經(jīng)過NN處理后，最后一層輸出值為[24,3,0.1]的話，那么經(jīng)過max之后的結(jié)果為[1,0,0]。對不？　?。ㄖ劣跒樯兑猰ax，輸出結(jié)果本來挺奇怪經(jīng)過max以后就是categorical 的了，那么樣本的類標(biāo)就可以和他的預(yù)測值一起合體直觀地計算cost function。）我們最需要的其實是max，但是max有個缺點就是不可導(dǎo)，沒法用在dp里，于是有人就想出了softmax。思路就是指數(shù)級擴大最后一層的輸出，每個值都會增大，然而最大的那個值相比其他值擴大的更多，然后歸一化一下，考慮一下極限，如果最大值x_1經(jīng)過指數(shù)運算后想對其他值為無窮大，那么exp(x_1)/exp(x_1)+others =1,其他輸出值對應(yīng)的為0。所以softmax模擬了max的行為，同時他還可導(dǎo)。

先理解max. 對一個三類問題，某樣本經(jīng)過nn處理后，最后一層輸出值為[24,3,0.1]的話，那么經(jīng)過max之后的結(jié)果為[1,0,0]。對不？（至于為啥要max，輸出結(jié)果本來挺奇怪經(jīng)過max以后就是categorical 的了，那么樣本的類標(biāo)就可以和他的預(yù)測值一起合體

6，Softmage3DSMAXMaya的詳細介紹

SOFTIMAGE公司是加拿大Avid公司旗下的子公司。SOFTIMAGE 3D是專業(yè)動畫設(shè)計師的重要工具。用SOFTIMAGE 3D創(chuàng)建和制作的作品占據(jù)了娛樂業(yè)和影視業(yè)的主要市場,《泰坦尼克號》、《失落的世界》、《第五元素》等電影中的很多鏡頭都是由SOFTIMAGES 3D制作完成的,創(chuàng)造了驚人的視覺效果。 SoftImage 3D是一個綜合運行于SGI工作站和Windows NT平臺的高端三維動畫制作系統(tǒng)，它被世界級的動畫師成功運用在電影、電視和交互制作的市場中。它具有由動畫師親自設(shè)計的方便高效的工作界面、加入的動畫工具和快速高質(zhì)量的圖像生成，使藝術(shù)家有了非常自由的想象空間，能創(chuàng)造出完美逼真的藝術(shù)作品。 3dsmax是美國Autodesk公司旗下優(yōu)秀的電腦三維動畫、模型和渲染軟件，全稱：3D Studio MAX。該軟件早期名為3DS，是應(yīng)用在dos下的三維軟件，之后隨著PC機的高速發(fā)展，Autodesk公司于1993年開始研發(fā)基于PC下的三維軟件，終于在1996年3D Studio MAX V1.0問世，圖形化的操作界面，使應(yīng)用更為方便。廣泛應(yīng)用于三維動畫、影視制作、建筑設(shè)計等各種靜態(tài)、動態(tài)場景的模擬制作。 3dsmax主要應(yīng)用于建筑、影視、游戲、動畫方面，擁有軟件開發(fā)工具包（DSK），SDK 是一套用在娛樂市場上的開發(fā)工具，用于軟件整合到現(xiàn)有制作的流水線以及開發(fā)與之相合作的工具，在biped方面作出的新改進將讓我們輕松構(gòu)建四足動物。Revealu渲染功能將讓我們更快的重復(fù)，重新設(shè)計的 OBJ 輸入也會讓3dsmax 和 Mudbox 之間的轉(zhuǎn)換變得更加容易。 3dsmax Design主要應(yīng)用在建筑、工業(yè)、制圖方面，主要在燈光方面有改進，有用于模擬和分析陽光、天空以及人工照明來輔助 LEED 8.1 證明的 Exposure 技術(shù)，這個功能在viewport中可以分析太陽，天空等。您現(xiàn)在可以直接在視口以顏色來調(diào)整光線的強度表現(xiàn)。 3dsmax Design是在建筑效果圖和工業(yè)制圖方面的專業(yè)工具，無論是室內(nèi)建筑裝飾效果圖，還是室外建筑設(shè)計效果圖，3dsmax Design強大的功能和靈活性都是實現(xiàn)創(chuàng)造力的最佳選擇。 Maya是美國Autodesk公司出品的世界頂級的三維動畫軟件，應(yīng)用對象是專業(yè)的影視廣告，角色動畫，電影特技等。Maya功能完善，工作靈活，易學(xué)易用，制作效率極高，渲染真實感極強，是電影級別的高端制作軟件。 Maya主要應(yīng)用的商業(yè)領(lǐng)域有： 1、平面設(shè)計輔助、印刷出版、說明書 2、電影特技目前Maya更多的應(yīng)用于電影特效方面。從今年來眾多好萊塢大片對Maya的特別眷顧，可以看出Maya技術(shù)在電影領(lǐng)域的應(yīng)用越來越趨于成熟。