為什麼做stacking之後,準確率反而降低了?

時間 2021-05-05 17:55:02

1樓:

1、對第一層分類器調參時,可以考慮貝葉斯優化,盡量不要採用網格搜尋等傳統調參方法,同時變換一下評估指標,例如AUC換成F1、GMean等;

2、剔除第一層效能較差的分類器;若剔除後,第一層分類器的個數過少,可以將較強的分類器換一組引數進行補充(前期調參時,不同的評估指標會產生不同的幾組最佳引數);

3、為了減輕過擬合,第二層分類器最好選擇簡單的模型(LR等),有助於減輕過擬合

4、樣本較少的情況下,stacking不一定比單個的XGboost/LightGBM強,不妨放棄stacking

2樓:

第二層是非常容易過擬合的,所以建議題主使用LR這種簡單的線性模型在第二層試一下

持續關注,希望題主找到問題之後更新一下問題描述~

3樓:Ferris

第二層用 xgb 的話,建議帶上原始特徵。

這種 stacking 就是玄學,meta 特徵多了少了都可能不行;folds 數量也有影響,個人認為泛化能力有限。

4樓:

兩個可能的方向,

1、stacking本身理解或者使用的不對2、即使stacking使用的完全正確,也有一定的概率是不work的2.1 單模型之間的差距太大(這個不是差異,而是效果)2.2 stacking能否工作正常很大程度上依賴cv是否穩定,如果你的單模型在cv和test上的表現不一致的話,就很有可能會出問題,這在樣本量小的時候還是比較常見的。

2.3 stacking也不是萬能的。大多數的情況下stage-1已經能把融合的收益拿的差不多了,stage-2基本上也就是錦上添花,stage-3+最多也就能添個葉子。

在實際工作中,stage-2+可能都不會用到,即使不考慮效能問題,通過這種方法拿到的收益,可能都未必能cover住線上的流量變化帶來的效果抖動。

5樓:巴聰

資訊不夠,但基本可以肯定是stacking的實現出了問題,建議debug一下實現過程。提幾點供參考:1,每乙個第一層模型產生metafeature的過程,可以用多次隨機分組後ensemble以提高每個meta feature的質量,2,不同的第一層模型得到的結果先檢查看看合理不合理,再檢查一下互相關,

在逛街,回家接著答…

為什麼古代看相那麼準?

曲端 劉邦他媽還是被一條龍上了生的劉邦呢,這玩意也能信麼 算命看相這種東西,被記載出來本身就是被用來給政治服務的,讓他準他就準,讓他不准就不准唄。 悠遠劍客 跟甲骨文的卜詞一樣,他們只記載算的準的,算的不准的根本不記載。再有像劉邦那種大丈夫當如是,這種豪言你我小時候多半也說過,而且別人吹噓的多半類似...

既然貸記卡優點比準貸記卡多,為什麼要有準貸記卡?誰會辦呢?

莘莘 準貸記卡特點 刷卡即為透支 透支即開始計息沒有免息還款期 計息方式 每天萬分之五計單利 不提供對賬單,可索取 沒有最低還款額 透支後 60 天未足額還款即為違約 存款計息 使用年限最長兩年。貸記卡特點 先刷後還 免息期最長56天 每天萬分之五計複利 每月均有對賬單 有最低還款額,可分期 還款日...

為什麼他讓我做他女朋友,我同意之後,他就不怎麼理我了,是我不配被寵愛嗎

Lvyyyyyyy 可能性很多啊,我覺得你可以找時間和他聊聊。像我舍友,她就是喜歡追人的過程,但是一旦對方同意了,她就會很反感,然後over。像我,我會因為別人的某處閃光點而追他,但是隨著了解越來越深入,發現了更多缺點之後我可能就接受不了了,但是那時候往往都追到手了,所以一般也是盡快結束。像其他答主...