Monthly Archives: July 2011

在人工智能领域，有一个重要的分支就是研究如何让计算机通过“学习”而具有类似人所拥有的某种“智能”。例如，我们给计算机提供一些正常人和癌症患者的病理切片图像，希望计算机能通过学习自动对新的病理切片图像进行分类。又比如，我们在读取电子邮件时把一些垃圾邮件标记出来，希望邮件服务器能够通过学习自动标识并过滤垃圾邮件。更有挑战性的例子包括，通过学习股票交易的历史数据希望能对股票的未来价格进行预测；通过学习某个人上网购物的历史数据，对其感兴趣的产品进行预测，从而提供更个性化的产品推荐等等。很多机器学习的问题可以抽象为，给定一些训练样本，如何让计算机自动设计出一个分类器或者预测器，从而对新的输入样本进行分类或者预测。如果计算机的分类或者预测精度达到或超过一个正常人通过学习所能达到的水平，我们就会觉得计算机具有了某种意义上的智能。 在设计分类器时，有人认为应该找到输入数据中对分类真正有帮助的信息，所以很多分类问题又被称为模式识别。这里的模式可能是垃圾邮件里特定的广告词，网上购物时用户进行价格、功能、品牌比较的点击记录等等。经过模式或特征的提取，计算机最终得到的分类器其实不过是某种算法程序，它能够把任意的输入映射到分类空间中的某个特定类别。为了分析和比较分类器的性能，人们通常假定训练和测试分类器的样本都来自同一个未知的统计分布，而最好的分类器就是从统计意义上讲，能够让分类错误期望最小的算法。现实的问题中，我们无法验证训练和测试的样本是否服从同一统计分布，只能希望当训练样本足够多时，能使分类错误在训练样本中最小的算法同样能对测试样本做出足够好的分类。事实上，有限的训练样本只能从具有某种性质的分类器集合中筛选出最好的分类器，而候选的分类器集合必须和训练样本数量相关，才能保证对训练样本分类错误最小的算法对测试样本分类错误也足够小。在上一世纪六十年代末，前苏联数学和统计学家Vapnik与Chervonenkis共同创立了统计学习理论，给出了在训练样本足够多时，能够通过让某种训练误差最小化而使分类器最终收敛到最佳贝叶丝分类器的方法，并且证明在有限训练样本时，对测试样本的分类错误取决于候选分类器集合的VC维数。这一理论在很长时间内被忽视，直到上个世纪九十年代Vapnik及其合作者构造出了支撑向量机，使得分类边界到不同类别样本间的距离最大化——这一基于统计学习理论设计出的分类器比其它已有的分类器性能只好不差——VC理论才正式成为机器学习领域最具影响力的方法。与此同时，核函数的使用使得支撑向量机的方法能够适用于不同的特征空间，从而在有效控制分类器集合的VC维数的同时，无需进行人为的特征提取。自此以后，自动机器分类方法中支撑向量机与核方法占据了显著位置。Vapnik理论的优美之处在于，它避开了试图通过训练样本估计其分布的传统统计方法（由于信息不完全，通过有限样本估计分布函数是一个病态问题，解不唯一，需要额外加限制条件），而直接对测试样本与分类器间的关系进行刻划，找到了控制模型复杂度的直接途径。 对统计学习理论持保留态度的学者，主要包括热爱贝叶斯统计方法的——相信在有样本统计分布先验知识的情况下，贝叶斯决策理论可以做得更好；相信可运行的计算机代码多过理论分析的——认为统计学习理论给出最差情况下的性能估计不具代表性，实际用户的感受更接近平均意义下的分类性能测试。这里边不少人喜欢简单的决策树多过支撑向量机，而且怀疑分类器性能的好坏取决于在设计之初是否对VC维数直接进行控制。不管怎样，随着计算机性能的提高和云计算的兴起，大规模大数据量的机器学习问题层出不穷，很多训练样本没有办法一一给出类别，有些先验知识没有办法用训练样本表示，新的问题呼唤新的理论与方法。机器学习逐渐从重点关注有教师学习转向无教师学习，强化学习等多个新方向。在新世纪里，Vapnik又提出有隐藏信息情况下的机器学习框架，并试图对某些训练过程中的隐藏信息加以刻划，证明同样基于支撑向量机的分类器学习，使用特殊的信息后期望性能的收敛速度比没有教师提供特殊信息时要快（原先需要100000个训练样本才能达到的分类精度在“有教师帮助”的情况下只需要320个左右的样本）。今年信息融合年会的特邀报告中，Vapnik专门提到训练样本以外的隐藏信息普遍存在，有些信息甚至无法以科学/统计模型描述。他举例说，东方药物（比如中药）有可能对西药治疗提供隐藏信息——机器学习需要拓展另类模型，动物的“智能”可能对人类智能研究提供隐藏信息——认知科学和人工智能的理论基础需要拓宽视野。与会听众中不少人认为，Vapnik的“新理论”中科学成份不足，目前很难看出它有统计学习理论的深邃和支撑向量机方法的实用。而机器学习领域里新兴起的主动学习方法，看上去比寻找Vapnik所描述的（训练样本之外的）特殊知识更靠谱。