关于AdaBoost训练误差上界的推导细节问题

1,680 阅读1分钟

AdaBoost 作为一个机器学习模型,一定要有其训练误差上界。李航的《统计学习方法》里写的很完整,但是有个细节我提一下。

《统计学习方法》中的8.11是这样写的:

Z_m = (1-e_m)e^{-\alpha_m}+e_m e^{\alpha_m} = 2\sqrt{e_m(1-e_m)}

这里很多人以为是利用不等式计算的,这里不应该有等于号。实际上,大家忘了a+b>=2\sqrt{ab}成立的基本条件就是a和b独立。而这里e_ma_m并不独立,详情可见《统计学系方法》的8.2:

a_m = \frac{1}{2}log\frac{1-e_m}{e_m}

其实这个式子代入到8.11中便可得到等于号。