AIQ | 机器学习偏差与方差理论



转载请注明 AIQ - 最专业的机器学习大数据社区  http://www.6aiq.com

AIQ 机器学习大数据 知乎专栏 点击关注

小编邀请您,先思考:

1 为什么 KNN 算法在增大 k 时,偏差会变大?

2 RF 增大树的数目时偏差却保持不变,GBDT 在增大树的数目时偏差却又能变小?

在机器学习的面试中,能不能讲清楚偏差方差,经常被用来考察面试者的理论基础。偏差方差看似很简单,但真要彻底地说明白,却有一定难度。比如,为什么 KNN 算法在增大 k 时,偏差会变大,但 RF 增大树的数目时偏差却保持不变,GBDT 在增大树的数目时偏差却又能变小。本文的目的就是希望能对偏差方差有一个科学的解读,欢迎大家多多交流。

01 引子

假设我们有一个回归问题,我们搞到一批训练数据 D,然后选择了一个模型 M,并用数据 D 将 M 训练出来,记作 Mt,这里我们故意把模型 M 与训练出的模型 Mt 区分开,是为了后面叙述时概念上的清晰。现在,我们怎么评价这个模型的好坏呢?

你可能会不屑地说,这么简单的问题还用问吗,当然是用 test 集来测试啊。

哈哈!你上当了!

因为我并没有说明是评价模型 M 的好坏还是模型 Mt 的好坏!这二者有什么区别呢?

我们都知道,模型 M 代表的是一个函数空间,比如模型 y=wx+b,若 x,y 都是实数,w,b 为实数参数,则该模型就代表了平面上所有的直线,这所有的直线就是一个函数空间。

同理,y=ax^2+bx+c 代表的就是平面上所有的二次曲线,所有的二次曲线组成一个函数空间。当然,所有的直线此时也是二次曲线的特例。

回到上面的问题,Mt 实际上是用数据 D 找到的 M 代表的函数空间中的一个具体的函数。这话有点绕,不过还是不难理解的。

Mt 的表现好坏不能完整地代表 M 的好坏。

上面这句话有很多内涵,我们一点一点来说明。

02 什么是 M 的好坏

以上面的一次函数和二次函数为例,当我们说二次函数比一次函数更好时,我们潜在的含义是说,对于某个我们正要解决的机器学习问题来说,二次函数总体上比一次函数表现更好,我们是在函数空间的层次上来比较的。

而且,还是针对一个具体的机器学习问题来比较的,因为对于不同的机器学习问题,二者哪个更好是不一定的。

Note: 在下文中,可以把机器学习问题默想成回归问题,这样便于理解。

这里再次强调,当我们说模型好坏时,隐含有两个含义:

1 比较的是整个函数空间

2 针对某个具体机器学习问题比较

03 怎么比较 M 的好坏?

我们可以这样做:

1)找一条不变的万能测试样本

在这个具体的机器学习问题中找一条样本 x,它的标签为 y。在后续的所有训练中都用这条样本做测试集,永远不用作训练集。

2)在测试样本上观察 Mt 的表现,假设 Mt 在样本 x 上的预测值为 yt,则 y-yt 可用来评价 Mt 的表现好坏。

3)找另外一个训练集 D1,训练出 Mt1,在测试样本上测试得到 yt1,进而得到误差 y-yt1,

4)重复第 3 步多次,直到得到 N 个具体的模型,和 N 个 yt,N 个 y-yt。

5)当 N 足够大时,我们可以这样来评测 M 的好坏,首先看 N 个 yt 的均值 ytmean 是否等于 y,其次,看 N 个 yt 相对均值 ytmean 的方差有多大。

显然,若 ytmean=y,说明 M 学习能力是够的,也就是说,当 N 趋向无穷大时,N 个 Mt 对 x 预测的均值能无限接近 y。

很多人会有种错觉,感觉任何 M 都能达到上面的效果,实际上,不是每一个 M 都有这样的能力的,举个极端的例子,我们假设 M1 的函数空间中只有一个函数,且对于任何样本的预测值都恒等于 y+1,则无论 N 多大,ytmean 都会比 y 大 1 的。我们称 M1 由于学习能力不够所造成的对 x 的预测误差叫做偏差。

其次,N 个 yt 相对均值 ytmean 的方差有多大也能从另一个方面揭示 M 的好坏,举个例子,假设我们有 M1,M2 两个模型,当 N 无穷大时,都能使得 ytmean 等于 y。但是 M1 的预测值是这样分布的 (下面圆点代表一个个的预测值)

…..ytmean…..

M2 的预测值是这样分布的

.  .   .  .ytmean.  .   .  .

显然,我们会觉得 M1 比 M2 更好。你可能会想,N 足够大时,二者都能准确地均值到 y,这就够了,没必要再比较它们的预测值相对均值的方差。

这样的观点错误的地方是: 实践中,我们并不能抽样出 D1,D2,D3…….DN 个训练集,往往只有一份训练集 D,这种情况下,显然,用 M1 比用 M2 更有把握得到更小的误差。

04 举例子来说明偏差方差

假设模型是一个射击学习者,D1,D2 直到 DN 就是 N 个独立的训练计划。

如果一个学习者是正常人,一个眼睛斜视,则可以想见,斜视者无论参加多少训练计划,都不会打中靶心,问题不在训练计划够不够好,而在他的先天缺陷。这就是模型偏差产生的原因,学习能力不够。正常人参加 N 个训练计划后,虽然也不能保证打中靶心,但随着 N 的增大,会越来越接近靶心。

假设还有一个超级学习者,他的学习能力特别强,参加训练计划 D1 时,他不仅学会了瞄准靶心,还敏感地捕捉到了训练时的风速,光线,并据此调整了瞄准的方向,此时,他的训练成绩会很好。

但是,当参加测试时的光线,风速肯定与他训练时是不一样的,他仍然按照训练时学来的瞄准方法去打靶,肯定是打不好。这样产生的误差就是方差。这叫做聪明反被聪明误。

总结一下: 学习能力不行造成的误差是偏差,学习能力太强造成的误差是方差。

05 权衡偏差方差

当我们只有一份训练数据 D 时,我们选的 M 若太强,好比射手考虑太多风速,光线等因素,学出来的模型 Mt 在测试样本上表现肯定不好,若选择的 M 太挫,比如是斜视,也无论如何在测试的样本上表现也不会好。所以,最好的 M 就是学习能力刚刚好的射手,它能够刚刚好学习到瞄准的基本办法,又不会画蛇添足地学习太多细枝末节的东西。

06 回答本文最初的问题

对于 KNN 算法,k 值越大,表示模型的学习能力越弱,因为 k 越大,它越倾向于从“面”上考虑做出判断,而不是具体地考虑一个样本 近身的情况来做出判断,所以,它的偏差会越来越大。

对于 RF,我们实际上是部分实现了多次训练取均值的效果,每次训练得到的树都是一个很强的学习者,每一个的方差都比较大,但综合起来就会比较小。好比一个很强的学习者学习时,刮着西风,它会据此调整自己的瞄准方法,另一个很强的学习者学习时刮着东风,(西风、东风可以理解为不同训练集中的噪声)它也会据此调整自己的瞄准方法,在测试样本时,一个误差向西,一个误差向东,刚好起到互相抵消的作用,所以方差会比较小。但是由于每棵树的偏差都差不多,所以,我们取平均时,偏差不会怎么变化。

为什么说是部分实现了多次训练取均值的效果而不是全部呢?因为我们在训练各棵树时,是通过抽样样本集来实现多次训练的,不同的训练集中不可避免地会有重合的情况,此时,就不能认为是独立的多次训练了,各个训练得到的树之间的方差会产生一定的相关性,训练集中重合的样本越多,则两棵树之间的方差的相关性越强,就越难达成方差互相抵消的效果。

对于 GBDT,N 棵树之间根本就不是一种多次训练取均值的关系,而是 N 棵树组成了相关关联,层层递进的超级学习者,可想而知,它的方差一定是比较大的。但由于它的学习能力比较强,所以,它的偏差是很小的,而且树的棵树越多,学习能力就越强,偏差就越小。也就是说,只要学习次数够多,预测的均值会无限接近于目标。简单讲就是 GBDT 的 N 棵树实际上是一个有机关联的模型,不能认为是 N 个模型。


更多高质资源 尽在AIQ 机器学习大数据 知乎专栏 点击关注

转载请注明 AIQ - 最专业的机器学习大数据社区  http://www.6aiq.com