选择性集成学习算法综述
  张春霞　　张讲社
计算机学报  2011-8

摘　要

  集成学习因其能显著提高一个学习系统的泛化能力而得到了机器学习界的广泛关注，但随着基学习机数目的增多，集成学习机的预测速度明显下降，其所需的存储空间也迅速增加．选择性集成学习的主要目的是进一步改善集成学习机的预测效果，提高集成学习机的预测速度，并降低其存储需求．该文对现有的选择性集成学习算法进行了详细综述，按照算法采用的选择策略对其进行了分类，并分析了各种算法的主要特点，最后对选择性集成学习在将来的可能研究方向进行了探讨．

关键词　选择性集成学习；基学习机；集成学习机；多样性；泛化能

１ 引言

  模式分类与回归问题目标: 利用实际数据构建一较强泛化能力的预测模型（学习机），可对新未知对象给出尽可能精确估计．

  evaluation criteria: 如何提高学习系统的泛化能

  集成学习(ensemble learning) : 使用多个学习机来解决同一问题，通过调用一些简单的分类算法，以获得多个不同的
基学习机，然后采用某种方式将这些学习机组合成一个集成学习 (Journal:  AI Magazine)

  集成学构建分为两步：基学习机的生成和基学习机的合并

  生成基学习机的方法分为两大类：

  1) 一类是将不同类型的学习算法应用于同一数据集上，异质类基学习机(Heterogeneous)

  2) 一类将同一学习算法应用于不同的训练集（可基于原有的训练数据集进行随机抽样等方法得到），homogeneous 

  选择性集成学习: 假定已生成多个基学习机的基础上，基于某种选择策略只从中选择一部分用于构建最终的集成

  the structure of this paper:

  1) 第２节对用于解决分类问题的选择性集成学习算法进行详细综述，并分析几类算法的特点；
  2) 第３节讨论选择性集成学习算法在回归预测中的应用；

  3) 第４节是总结与展望，主要探讨选择性集成学习在未来可能的研究方向．

２　选择性集成学习算法

2.1 基于聚类的方法

2.2 基于排序的方法

2.3 基于选择的方法

2.4 基于优化的方法

2.5 其它方法

4  总结与展望

  open problem:

  --Paper type:  Literature review

选择性集成学习算法综述.pdf