首頁(yè) > 資訊 > 經(jīng)驗(yàn) > gbdt算法，隨機(jī)森林和gbdt算法的不同點(diǎn)

gbdt算法，隨機(jī)森林和gbdt算法的不同點(diǎn)

來源：整理時(shí)間：2023-09-06 00:15:42 編輯：智能門戶手機(jī)版

本文目錄一覽

1，隨機(jī)森林和gbdt算法的不同點(diǎn)
2，python中g(shù)bdt可以輸出對(duì)應(yīng)的樹或者決策規(guī)則嗎
3，gbdt多分類預(yù)測(cè)結(jié)果代表什么意思
4，xgboostgbdt在調(diào)參時(shí)為什么樹的深度很少就能達(dá)到很高的精度
5，Bagging與Boosting最大的不同在哪里
6，機(jī)器學(xué)習(xí)和統(tǒng)計(jì)里面的auc怎么理解

1，隨機(jī)森林和gbdt算法的不同點(diǎn)

不了解什么是隨機(jī)森林。感覺應(yīng)該是一種算法。如果做計(jì)算機(jī)視覺建議你用OpenCV,R語(yǔ)言主要用在統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)領(lǐng)域。你找?guī)灼@方面的文獻(xiàn)看看別人跟你做類似課題時(shí)是用C++還是R。

搜一下：隨機(jī)森林和gbdt算法的不同點(diǎn)

隨機(jī)森林和gbdt算法的不同點(diǎn)

2，python中g(shù)bdt可以輸出對(duì)應(yīng)的樹或者決策規(guī)則嗎

首先看你是一個(gè)什么定位了，是應(yīng)屆生，還是有一定數(shù)據(jù)挖掘分析經(jīng)驗(yàn)的人員。如果是應(yīng)屆生，你只需知道這些算法的基本概念并且能舉出相應(yīng)的例子，這個(gè)網(wǎng)上都有，各個(gè)經(jīng)典算法的例子，還是很容易理解的。當(dāng)然你要是有經(jīng)驗(yàn)的數(shù)據(jù)分析工作者

應(yīng)該不能吧。

python中g(shù)bdt可以輸出對(duì)應(yīng)的樹或者決策規(guī)則嗎

3，gbdt多分類預(yù)測(cè)結(jié)果代表什么意思

二分類，就是說把數(shù)據(jù)分成2類，要么A，要么B。。。。。算法結(jié)果上，會(huì)計(jì)算出一個(gè)打分，比如這個(gè)模型認(rèn)為這個(gè)數(shù)據(jù)的最終分?jǐn)?shù)是0.6，如果你把A類的閾值定在0.5，那么這個(gè)數(shù)據(jù)它就是A類。。。

傳統(tǒng)gbdt以cart作為基分類器，xgboost還支持線性分類器

gbdt多分類預(yù)測(cè)結(jié)果代表什么意思

4，xgboostgbdt在調(diào)參時(shí)為什么樹的深度很少就能達(dá)到很高的精度

考慮這個(gè)簡(jiǎn)化的操作：試想把樹的深度設(shè)為2，那么gbdt里面的基學(xué)習(xí)器都是二分類決策樹，然后自己在二維坐標(biāo)系上畫很多點(diǎn)，然后不停的用boosting的方法用二分類決策樹去進(jìn)行分類，不同的是，我們簡(jiǎn)化權(quán)重的計(jì)算方式，初始化權(quán)重都為1，每次分錯(cuò)權(quán)重不變，分對(duì)則權(quán)重將為原來的一半，最終能用深度為2的樹成功對(duì)很多不規(guī)則的點(diǎn)進(jìn)行分類。然而用深度為2的樹，用類似RF的bagging方法也能成功對(duì)不規(guī)則的點(diǎn)分類。所以到這里，我們實(shí)際操作了，用深度低的樹通過ensemble對(duì)于不規(guī)則的點(diǎn)的分類這種“黑科技”。那么為什么gbdt在樹的深度很小的時(shí)候能很快達(dá)到很高的預(yù)測(cè)或分類精度呢？或者說，它比RF明顯。我的理解是，因?yàn)間bdt更多的是一種優(yōu)化算法。具體怎么優(yōu)化的，期待牛人用公式解答。

5，Bagging與Boosting最大的不同在哪里

【機(jī)器學(xué)習(xí)】boosting和bagging的差別boosting和bagging的差別：bagging中的模型是強(qiáng)模型，偏差低，方差高。目標(biāo)是降低方差。在bagging中，每個(gè)模型的bias和variance近似相同，但是互相相關(guān)性不太高，因此一般不能降低bias，而一定程度上能降低variance。典型的bagging是random forest。boosting中每個(gè)模型是弱模型，偏差高，方差低。目標(biāo)是通過平均降低偏差。boosting的基本思想就是用貪心法最小化損失函數(shù)，顯然能降低偏差，但是通常模型的相關(guān)性很強(qiáng)，因此不能顯著降低variance。典型的boosting是adaboost，另外一個(gè)常用的并行boosting算法是gbdt（gradient boosting decision tree）。這一類算法通常不容易出現(xiàn)過擬合。過擬合的模型，通常variance比較大，這時(shí)應(yīng)該用bagging對(duì)其進(jìn)行修正。欠擬合的模型，通常bias比較大，這時(shí)應(yīng)該可以用boosting進(jìn)行修正。使用boosting時(shí)，每一個(gè)模型可以簡(jiǎn)單一些。金融常見的問題，是只用linear regression，這樣一般來講是欠擬合的，因此需要引入一些非線性的特征，欠擬合的模型可以先使用boosting嘗試一下，如果效果不好，再使用其他的方法。過擬合的方法，通常使用bagging是會(huì)有一定的作用的。

兩種不同的集成算法，Bagging采用重復(fù)取樣:boostrap 每個(gè)個(gè)體分類器所采用的訓(xùn)練樣本都是從訓(xùn)練集中按等概率抽取的，因此Bagging的各子網(wǎng)能夠很好的覆蓋訓(xùn)練樣本空間，從而有著良好的穩(wěn)定性。而Boosting注重分類錯(cuò)誤的樣本，將個(gè)體子網(wǎng)分類錯(cuò)誤的訓(xùn)練樣本的權(quán)重提高，降低分類錯(cuò)誤的樣本權(quán)重，并依據(jù)修改后的樣本權(quán)重來生成新的訓(xùn)練樣本空間并用來訓(xùn)練下一個(gè)個(gè)體分類器。然而，由于Boosting算法可能會(huì)將噪聲樣本或分類邊界樣本的權(quán)重過分累積，因此Boosting很不穩(wěn)定，但其在通常情況下，其泛化能力是最理想的集成算法之一。你得自己去查文獻(xiàn)，別來這問，這沒人做學(xué)術(shù)的，我也是偶爾看到你的提問。

6，機(jī)器學(xué)習(xí)和統(tǒng)計(jì)里面的auc怎么理解

很多，主要說下監(jiān)督學(xué)習(xí)這塊的算法哈。歡迎討論。svm，支撐向量機(jī)，通過找到樣本空間中的一個(gè)超平面，實(shí)現(xiàn)樣本的分類，也可以作回歸，主要用在文本分類，圖像識(shí)別等領(lǐng)域，詳見：；lr，邏輯回歸，本質(zhì)也是線性回歸，通過擬合擬合樣本的某個(gè)曲線，然后使用邏輯函數(shù)進(jìn)行區(qū)間縮放，但是一般用來分類，主要用在ctr預(yù)估、等；nn，神經(jīng)網(wǎng)絡(luò)，通過找到某種非線性模型擬合數(shù)據(jù)，主要用在圖像等；nb，樸素貝葉斯，通過找到樣本所屬于的聯(lián)合分步，然后通過貝葉斯公式，計(jì)算樣本的后驗(yàn)概率，從而進(jìn)行分類，主要用來文本分類；dt，決策樹，構(gòu)建一棵樹，在節(jié)點(diǎn)按照某種規(guī)則（一般使用信息熵）來進(jìn)行樣本劃分，實(shí)質(zhì)是在樣本空間進(jìn)行塊狀的劃分，主要用來分類，也有做回歸，但更多的是作為弱分類器，用在model embedding中；rf，隨進(jìn)森林，是由許多決策樹構(gòu)成的森林，每個(gè)森林中訓(xùn)練的樣本是從整體樣本中抽樣得到，每個(gè)節(jié)點(diǎn)需要進(jìn)行劃分的特征也是抽樣得到，這樣子就使得每棵樹都具有獨(dú)特領(lǐng)域的知識(shí)，從而有更好的泛化能力；gbdt，梯度提升決策樹，實(shí)際上也是由多棵樹構(gòu)成，和rf不同的是，每棵樹訓(xùn)練樣本是上一棵樹的殘差，這體現(xiàn)了梯度的思想，同時(shí)最后的結(jié)構(gòu)是用這所有的樹進(jìn)行組合或者投票得出，主要用在、相關(guān)性等；knn，k最近鄰，應(yīng)該是最簡(jiǎn)單的ml方法了，對(duì)于未知標(biāo)簽的樣本，看與它最近的k個(gè)樣本(使用某種距離公式，馬氏距離或者歐式距離)中哪種標(biāo)簽最多，它就屬于這類；

——知乎：項(xiàng)亮你也可以將每個(gè)樣本的score加上一個(gè)極其小的隨機(jī)數(shù)。這樣就不會(huì)出現(xiàn)相等了。發(fā)布于 2016-06-27李潤(rùn)澤機(jī)器學(xué)習(xí)殿堂級(jí)入門選手1 人贊同了該回答可以參考周老師《機(jī)器學(xué)習(xí)》書中的第二章，p34-35的內(nèi)容發(fā)布于 2016-06-28木成雪特困生,鏟屎官4 人贊同了該回答一般而言，如果正樣本score大于負(fù)樣本，這個(gè)正負(fù)樣本對(duì)的權(quán)重為1，小于為0，而等于則為0.5，這樣的所有正負(fù)樣本對(duì)的權(quán)重加起來就是auc的分子，分母就是正負(fù)樣本對(duì)的個(gè)數(shù)。幾何上看，正樣本score等于負(fù)樣本在roc的圖上就是梯形的三角部分，由于算面積要除2，即權(quán)重為0.5，所以相當(dāng)于rank取平均可參看此文理解auc - 木成雪