1樓：
這個問題, 我嘗試回答一下啊,
簡單來講, 都對Boosting原始求解困難的加法模型改為分步優化,即前向分步演算法, 至於每一步怎麼求解, 各自採用策略不同:
(1) Boosting思想是用一系列弱分類器加權求和,即加法模型: 式1)
待求解引數為一系列的 和每一步的弱分類器 , 這個問題實際上很困難的
一般改為前向分布方式, 即每一步只關注上一步的Loss.
(2) AdaBoost採用前向分步加法模型(FSAM), 用誤差率計算第m步 和資料分布的權值 , 隨後更新資料分布,得到
(3) GBDT採用梯度提公升模型(GBM), 求第m步關於 的負梯度值,將其作為 來迭代
(4) AdaBoost的計算f(x)的方式(FSAM)決定了其loss只能使MSE或者指數函式(這裡也提醒一下, AdaBoost既可以在殘差上擬合弱分類器, 也可以在帶權重的樣本上擬合弱分類器)
(5) GBDT採用GBM迭代, 只要損失函式連續可微即可, 對損失函式沒有特定要求.
2樓：NLPer學習中
1.boosting的思想：利用弱分類器(基函式)不斷調整樣本的權重從而調整誤差，迭代學習出M個弱分類器，在進行相應的組合。——屬於迭代類演算法
2.Adaboost演算法是：不斷調整樣本的權重來達到降低模型分類誤差，最後使用線性組合基函式的方式，基函式可以有多種形式。當基函式為閾值分類器的時候，屬於分類問題的提公升樹。
3.對於提公升樹演算法模型，是基函式為決策樹的Adaboost特殊演算法，因為決策樹有回歸決策樹和分類決策樹，所以存在回歸提公升樹和分類提公升樹。回歸提公升樹學習的代價函式是平方誤差，而分類提公升樹學習的是指數函式。
4.GBDT參考鏈結決策樹相關演算法——Boosting之Adaboost&GBDT詳細分析與實現
3樓：若羽
GradientBoost：函式估計，得到最小化損失函式。
所以，按照之前知乎 @wepon 分享的資料
GBDT的演算法流程如下：
4樓：seu1tyz
統計學習方法147倒數第二段（提公升樹那一章8.4.2正數第四段），提公升樹在處理分類問題的時候，實際上就是AdaBoost的基函式變成普通決策樹；然後，提公升樹在處理回歸問題的時候，實際上是擬合上一次模型訓練的乙個殘差再訓練一棵樹出來進行Boosting整合；隨後在統計學習方法後面，在梯度提公升樹中，實際上提公升樹的殘差，是損失函式為平方損失MSE下的特例，這個時候MSE的負梯度就是yi -f(xi)，這一點最高票回答裡面有推。
整個過程如果按照統計學習方法的描述裡面就是這樣子的，當然高票回答推公式、推理論，水平更高。
5樓：東東
常用的機器學習演算法比較？
knnay 各種機器學習演算法都有自己適用的情況，這裡舉幾個例子 1 多層感知器 當特徵只有幾維 或者十幾維，這時候比較適合才用多層感知器。多層感知器 2 卷積神經網路 當特徵的維度達到成千上萬維，就適合才用卷積神經網路。卷積神經網路 3 殘差收縮網路 當資料受到強烈的雜訊干擾，殘差收縮網路 1 2...
學習python和機器學習演算法，深度學習演算法就是學不會，心情很壓抑怎麼辦？
陽光 不知道你多大年齡，阿姨我今年快48了，去年開始學習機器學習，深度學習，也經歷很多燒腦的日子，但是要相信自己，多去網上搜尋，書讀百遍其意自現，死磕到底，沒什麼學不會的，想想又不是讓你造原子彈 我執 看到這個題目我頓時會心一笑,彷彿見到了過去的自己.回答分割線 我想題主應該是想問怎麼快速的學習演算...
機器學習中梯度下降演算法公式是不是有問題？
張大帥 公式3的等號你是怎麼寫出來的呢，你寫上等號他就相等了？為什麼不用3，因為3是你臆造出來的，與1 1 3一樣的東西。怎麼拋開求導公式不談，你就稍微想想反向傳播的物理意義何在，其實x相當於對w的乙個 加權 所以乘以x。除x幹啥，有什麼意義？ 題主所說其實是梯度下降的乙個致命缺陷 不具有座標變換不...