机器学习中的维度灾难


本文地址:http://www.6aiq.com/article/1522935329134
知乎专栏 点击关注
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出

介绍

本篇文章,我们将讨论所谓的“维度灾难”,并解释在设计一个分类器时它为何如此重要。在下面几节中我将对这个概念进行直观的解释,并通过一个由于维度灾难导致的过拟合的例子来讲解。

考虑这样一个例子,我们有一些图片,每张图片描绘的是小猫或者小狗。我们试图构建一个分类器来自动识别图片中是猫还是狗。要做到这一点,我们首先需要考虑猫、狗的量化特征,这样分类器算法才能利用这些特征对图片进行分类。例如我们可以通过毛皮颜色特征对猫狗进行识别,即通过图片的红色程度、绿色程度、蓝色程度不同,设计一个简单的线性分类器:
c9d9cfb078794ae0845f92c6cbc70725.png

红、绿、蓝三种颜色我们称之为特征 Features,但仅仅利用这三个特征,还不能得到一个完美的分类器。因此,我们可以增加更多的特征来描述图片。例如计算图片 X 和 Y 方向的平均边缘或者梯度密度。现在总共有 5 个特征来构建我们的分类器了。

为了得到更好的分类效果,我们可以增加更多特征,例如颜色、纹理分布和统计信息等。也许我们能得到上百个特征,但是分类器的效果会变得更好吗?答案有些令人沮丧:并不能!事实上,特征数量超过一定值的时候,分类器的效果反而下降。图 1 显示了这种变化趋势,这就是“维度灾难”。 

图 1\. 随着维度增加,分类器性能提升;维度增加到某值后,分类器性能下降

下一节我们将解释为什么产生这条曲线并讨论如何避免这种情况发生。

维度灾难与过拟合

在之前引入的猫和狗的例子中,我们假设有无穷多的猫和狗的图片,然而,由于时间和处理能力限制,我们只得到 10 张图片(猫的图片或者狗的图片)。我们的最终目标是基于这 10 张图片构建一个分类器,能够正确对 10 个样本之外的无限多的图片进行正确分类。

现在,让我们使用一个简单的线性分类器来尝试得到一个好的分类器。如果只使用一个特征,例如使用图片的平均红色程度 red。 

图 2\. 单个特征对训练样本分类效果不佳 

图 2 展示了只使用一个特征并不能得到一个最佳的分类结果。因此,我们觉得增加第二个特征:图片的平均绿色程度 green。 

图 3. 增加第二个特征仍然不能线性分割,即不存在一条直线能够将猫和狗完全分开。

最后,我们决定再增加第三个特征:图片的平均蓝色程度,得到了三维特征空间: 

图 4. 增加第三个特征实现了线性可分,即存在一个平面完全将猫和狗分开来。 

在三维特征空间,我们可以找到一个平面将猫和狗完全分开。这意味着三个特征的线性组合可以对 10 个训练样本进行最佳的分类。 

图 5. 特征越多,越有可能实现正确分类 

以上的例子似乎证明了不断增加特征数量,直到获得最佳分类效果,是构建一个分类器的最好方法。但是,之前图 1 中,我们认为情况并非如此。我们需要注意一个问题:随着特征维度的增加,训练样本的在特征空间的密度是如何呈指数型下降的?

在 1D 空间中(图 2 所示),10 个训练样本完全覆盖了 1D 特征空间,特征空间宽度为 5。因此,1D 下的样本密度是 10/2=5。而在 2D 空间中(图 3 所示),同样是 10 个训练样本,它构成的 2D 特征空间面积为 5x5=25. 因此,2D 下的样本密度是 10/25=0.4。最后在 3D 空间中,10 个训练样本构成的特征空间大小为 5x5x5=125,因此,3D 下的样本密度为 10/125=0.08。

如果我们继续增加特征,整个特征空间维度增加,并变得越来越稀疏。由于稀疏性,我们更加容易找到一个超平面来实现分类。这是因为随着特征数量变得无限大,训练样本在最佳超平面的错误侧的可能性将会变得无限小。然而,如果我们将高维的分类结果投影到低维空间中,将会出现一个严重的问题: 

图 6. 使用太多特征导致过拟合。分类器学习了过多样本数据的异常特征(噪声),而对新数据的泛化能力不好。

图 6 展示了 3D 的分类结果投影到 2D 特征空间的样子。样本数据在 3D 是线性可分的,但是在 2D 却并非如此。事实上,增加第三个维度来获得最佳的线性分类效果,等同于在低维特征空间中使用非线性分类器。其结果是,分类器学习了训练数据的噪声和异常,而对样本外的数据拟合效果并不理想,甚至很差。

这个概念称为过拟合,是维度灾难的一个直接后果。图 7 展示了一个只用 2 个特征进行分类的线性分类器的二维平面图。 

图 7. 尽管训练样本不能全都分类正确,但这个分类器的泛化能力比图 5 要好。

尽管图 7 中的简单的线性分类器比图 5 中的非线性分类器的效果差,但是图 7 的分类器的泛化能力强。这是因为分类器没有把样本数据的噪声和异常也进行学习。另一方面说,使用更少的特征,维度灾难就能避免,就不会出现对训练样本过拟合的现象。



图 8 用不同的方式解释上面的内容。假设我们只使用一个特征来训练分类器,1D 特征值的范围限定在 0 到 1 之间,且每只猫和狗对应的特征值是唯一的。如果我们希望训练样本的特征值占特征值范围的 20%,那么训练样本的数量就要达到总体样本数的 20%。现在,如果增加第二个特征,也就是从直线变为平面 2D 特征空间,这种情况下,如果要覆盖特征值范围的 20%,那么训练样本数量就要达到总体样本数的 45%(0.450.45=0.2)。而在 3D 空间中,如果要覆盖特征值范围的 20%,就需要训练样本数量达到总体样本数的 58%(0.580.58*0.58=0.2)。 

图 8. 覆盖特征值范围 20% 所需的训练样本数量随着维度增加呈指数型增长 

换句话说,如果可用的训练样本数量是固定的,那么如果增加特征维度的话,过拟合就会发生。另一方面,如果增加特征维度,为了覆盖同样的特征值范围、防止过拟合,那么所需的训练样本数量就会成指数型增长。

在上面的例子中,我们展示了维度灾难会引起训练数据的稀疏化。使用的特征越多,数据就会变得越稀疏,从而导致分类器的分类效果就会越差。维度灾难还会造成搜索空间的数据稀疏程度分布不均。事实上,围绕原点的数据(在超立方体的中心)比在搜索空间的角落处的数据要稀疏得多。这可以用下面这个例子来解释:

想象一个单位正方形代表了 2D 的特征空间,特征空间的平均值位于这个单位正方形的中心处,距中心处单位距离的所有点构成了正方形的内接圆。没有落在单位圆的训练样本距离搜索空间的角落处更距离中心处更近,而这些样本由于特征值差异很大(样本分布在正方形角落处),所有难以分类。因此,如果大部分样本落在单位内接圆里,就会更容易分类。如图 9 所示: 

图 9. 落在单位圆之外的训练样本位于特征空间角落处,比位于特征空间中心处的样本更难进行分类。

一个有趣的问题是当我们增加特征空间的维度时,随着正方形(超立方体)的体积变化,圆形(超球体)的体积是如何变化的?无论维度如何变化,超立方体的体积都是 1,而半径为 0.5 的超球体的体积随着维度 d 的变化为: 

图 10 展示了随着维度 d 的增加,超球面的体积是如何变化的: 

图 10. 维度 d 很大时,超球面的体积趋于零 

这表明了随着维度变得越来越大,超球体的体积趋于零,而超立方体的体积是不变的。这种令人惊讶的反直觉发现部分解释了在分类中维度灾难的问题:在高维空间中,大部分的训练数据分布在定义为特征空间的超立方体的角落处。就像之前提到的,特征空间角落处的样本比超球体内的样本更加难以进行正确分类。图 11 分别从 2D、3D 和可视化的 8D 超立方体(2^8=256 个角落)的例子论证了这个结论。

图 11. 随着维度增加,大部分数量数据分布在角落处 

对于 8 维的超球体,大约 98% 的数据集中在它 256 个角落处。其结果是,当特征空间的维度变得无限大时,从样本点到质心的最大、最小欧氏距离的差值与其最小欧式距离的比值趋于零: 

因此,距离测量在高维空间中逐渐变得无效。因为分类器是基于这些距离测量的(例如 Euclidean 距离、Mahalanobis 距离、Manhattan 距离),所以低维空间特征更少,分类更加容易。同样地,在高维空间的高斯分布会变平坦且尾巴更长。

如何避免维度灾难

图 1 展示了随着维度变得很大,分类器的性能是下降的。那么问题是“很大”意味着什么?过拟合如何避免?很遗憾,在分类问题中,没有固定的规则来指定应该使用多少特征。事实上,这依赖于训练样本的数量、决策边界的复杂性和使用的是哪个分类器。

如果理论上训练样本时无限多的,那么维度灾难不会发生,我们可以使用无限多的特征来获得一个完美的分类器。训练数据越少,使用的特征就要越少。如果 N 个训练样本覆盖了 1D 特征空间的范围,那么在 2D 中,覆盖同样密度就需要 NN 个数据,同样在 3D 中,就需要 NN*N 个数据。也就是说,随着维度增加,训练样本的数量要求随指数增加。

此外,那些非线性决策边界的分类器(例如神经网络、KNN 分类器、决策树等)分类效果好但是泛化能力差且容易发生过拟合。因此,当使用这些分类器的时候,维度不能太高。如果使用泛化能力好的分类器(例如贝叶斯分类器、线性分类器),可以使用更多的特征,因为分类器模型并不复杂。图 6 展示了高维中的简单分类器对应于地位空间的复杂分类器。

因此,过拟合只在高维空间中预测相对少的参数和低维空间中预测多参数这两种情况下发生。举个例子,高斯密度函数有两类参数:均值和协方差矩阵。在 3D 空间中,协方差矩阵是 3x3 的对称阵,总共有 6 个值(3 个主对角线值和 3 个非对角线值),还有 3 个均值,加在一起,一共要求 9 个参数;而在 1D,高斯密度函数只要求 2 个参数(1 个均值,1 个方差);在 2D 中,高斯密度函数要求 5 个参数(2 个均值,3 个协方差参数)。我们可以发现,随着维度增加,参数数量呈平方式增长。

在之前的文章里我们发现,如果参数数量增加,那么参数的方差就会增大(前提是估计偏差和训练样本数量保持不变)。这就意味着,如果围度增加,估计的参数方差增大,导致参数估计的质量下降。分类器的方差增大意味着出现过拟合。

另一个有趣的问题是:应该选择哪些特征。如果有 N 个特征,我们应该如何选取 M 个特征?一种方法是在图 1 曲线中找到性能最佳的位置。但是,由于很难对所有的特征组合进行训练和测试,所以有一些其他办法来找到最佳选择。这些方法称之为特征选择算法,经常用启发式方法(例如贪心算法、best-first 方法等)来定位最佳的特征组合和数量。

还有一种方法是用 M 个特征替换 N 个特征,M 个特征由原始特征组合而成。这种通过对原始特征进行优化的线性或非线性组合来减少问题维度的算法称为特征提取。一个著名的维度降低技术是主成分分析法(PCA),它去除不相关维度,对 N 个原始特征进行线性组合。PCA 算法试着找到低维的线性子空间,保持原始数据的最大方差。然而,数据方差最大不一定代表数据最显著的分类信息。

最后,一项非常有用的被用来测试和避免过拟合的技术是交叉验证。交叉验证将原始训练数据分成多个训练样本子集。在分类器进行训练过程中,一个样本子集被用来测试分类器的准确性,其他样本用来进行参数估计。如果交叉验证的结果与训练样本子集得到的结果不一致,那么就表示发生了过拟合。如果训练样本有限,那么可以使用 k 折法或者留一发进行交叉验证。

结论

这篇文章我们讨论了特征选择、特征提取、交叉验证的重要性,以及避免由维度灾难导致的过拟合。通过一个过拟合的简单例子,我们复习了维度灾难的重要影响。


本文地址:http://www.6aiq.com/article/1522935329134
知乎专栏 点击关注
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出