首先，我們來了解一下助推的思路。我們每次訓(xùn)練單個(gè)弱分類器，都會(huì)在學(xué)習(xí)當(dāng)前單個(gè)弱分類器之前，增加上次分類錯(cuò)誤的數(shù)據(jù)的權(quán)重，這樣訓(xùn)練出來的單個(gè)弱分類器會(huì)更加關(guān)注那些容易被錯(cuò)誤分類的點(diǎn)，最后通過加權(quán)求和的方式組合成一個(gè)最終的學(xué)習(xí)器，gradentboosting是助推的一種，每次建立單個(gè)學(xué)習(xí)器，都是上一個(gè)模型的損失函數(shù)的梯度下降方向。GB和AdaBoost的區(qū)別在于Adaboost通過提高錯(cuò)誤得分?jǐn)?shù)據(jù)點(diǎn)的權(quán)重來定位模型的不足。

GBDT算法的描述不正確。()a .決策樹BoostingGBDTB。GBDT算法主要利用Boosting方法C.GBDT和AdaBoost的比較，兩者都是Boosting家族成員，使用弱分類器；都是使用正向逐步算法d .梯度提升算法通過在梯度方向迭代選擇一個(gè)基函數(shù)，逐步逼近局部極小值。正確答案:梯度提升算法通過在梯度方向迭代選擇一個(gè)基函數(shù)，逐步逼近局部極小值。

首先，我們來了解一下boosting的思路。我們每訓(xùn)練一個(gè)單個(gè)弱分類器，都會(huì)增加上一次分類錯(cuò)誤的數(shù)據(jù)的權(quán)重，然后學(xué)習(xí)當(dāng)前的單個(gè)弱分類器。如果后面這樣做，訓(xùn)練好的單個(gè)弱分類器會(huì)更加關(guān)注那些容易被錯(cuò)誤分類的點(diǎn)，最后通過加權(quán)求和的方式組合成一個(gè)最終的學(xué)習(xí)器。Gradentboosting是助推的一種。每次建立單個(gè)學(xué)習(xí)器，都是上一個(gè)模型的損失函數(shù)的梯度下降方向。GB和AdaBoost的區(qū)別在于Adaboost通過提高錯(cuò)誤得分?jǐn)?shù)據(jù)點(diǎn)的權(quán)重來定位模型的不足。

主要思想是每次建立單個(gè)學(xué)習(xí)器，都是在前一個(gè)模型的損失函數(shù)的梯度下降方向。損失函數(shù)越大，模型越容易出錯(cuò)。如果我們的模型能讓損失函數(shù)不斷減小，說明我們的模型在不斷改進(jìn)，最好的辦法就是讓損失函數(shù)在其梯度方向上減小。GBDTGB DT(決策樹)，即當(dāng)基分類器是決策樹時(shí)，這里的決策樹是回歸樹。

博客園:梯度提升樹原理總結(jié)(GBDT)博客園:一步步理解GB、GBDT和xgboost志虎:GBDT和XGBOOST在機(jī)器學(xué)習(xí)算法上有什么不同？我們將重要參數(shù)分為兩類。第一類是Boosting框架的重要參數(shù)，第二類是弱學(xué)習(xí)者CART回歸樹的重要參數(shù)。

/Image-4/GBDT(GradientBootingDecisiontree)是機(jī)器學(xué)習(xí)中經(jīng)久不衰的模型。其主要思想是利用弱分類器(決策樹)進(jìn)行迭代訓(xùn)練，得到最優(yōu)模型。該模型具有訓(xùn)練效果好、不易過擬合的優(yōu)點(diǎn)。GBDT不僅廣泛應(yīng)用于工業(yè)領(lǐng)域，還用于多分類、點(diǎn)擊率預(yù)測、搜索排名等任務(wù)。也是各種數(shù)據(jù)挖掘比賽中的致命武器。據(jù)統(tǒng)計(jì)，Kaggle上超過一半的冠軍方案都是基于GBDT的。

1.1 light GBM提出的激勵(lì)中常用的機(jī)器學(xué)習(xí)算法，比如神經(jīng)網(wǎng)絡(luò)，可以用minibatch的方式進(jìn)行訓(xùn)練，訓(xùn)練數(shù)據(jù)的大小不會(huì)受到內(nèi)存的限制。在每次迭代中，GBDT需要多次遍歷整個(gè)訓(xùn)練數(shù)據(jù)，如果將整個(gè)訓(xùn)練數(shù)據(jù)加載到內(nèi)存中，則訓(xùn)練數(shù)據(jù)的大小將受到限制；如果不加載到內(nèi)存中，反復(fù)讀寫訓(xùn)練數(shù)據(jù)會(huì)耗費(fèi)大量時(shí)間。