ロジットブースト

機械学習と計算学習理論において、LogitBoost はJerome Friedman、Trevor Hastie、Robert Tibshiraniによって考案されたブースティングアルゴリズムです。

原論文では、AdaBoostアルゴリズムを統計的枠組みに落とし込んでいる。^{[1]具体的には、} AdaBoostを一般化加法モデルとして考え、ロジスティック回帰のコスト関数を適用すると、LogitBoostアルゴリズムを導出できる。^[2]

LogitBoostコスト関数の最小化

LogitBoostは凸最適化として考えることができる。具体的には、次のような加法モデルを求めると仮定する。

${\displaystyle f=\sum _{t}\alpha _{t}h_{t}}$

LogitBoostアルゴリズムはロジスティック損失を最小化します。

${\displaystyle \sum _{i}\log \left(1+e^{-y_{i}f(x_{i})}\right)}$

参照

• 勾配ブースティング
• ロジスティックモデルツリー

参考文献

1. Friedman, Jerome; Hastie, Trevor; Tibshirani, Robert (2000). 「加法ロジスティック回帰：ブースティングの統計的視点」Annals of Statistics . 28 (2): 337– 407. CiteSeerX  10.1.1.51.9525 . doi :10.1214/aos/1016218223.
2. 「初心者のための機械学習アルゴリズム」. 2023年9月22日. 2023年10月1日閲覧。