||
决策树从最初的人工设计的决策流程图,演变为能从数据中自动学习的强大工具,这一转变体现了机器学习如何吸收传统算法并赋予其新的能力。
决策树的发展历程可以分为两个主要阶段:
1. 前机器学习时代(1950s-1970s)
决策树最初作为算法的基本数据结构,用于表达分步决策过程,广泛应用于自动决策系统、专家系统的规则表示以及算法的分治策略可视化。 比如,1959年,Newell和Simon开发的“通用问题求解器(General Problem Solver,GPS)”,决策树扮演了重要角色。
2. 机器学习时代(1980s至今)
1986年,Quinlan 在开发 ID3 算法时,引用了 Newell和Simon关于GPS的研究,使决策树系统化地应用于机器学习。 1984年,Breiman 等人正式提出 CART(Classification and Regression Trees)算法,使用信息熵、基尼系数等数学工具进行特征选择,并发展出系统的剪枝方法以防止过拟合,使决策树成为机器学习核心算法之一。
关键转变点
传统算法的决策树由人工设计决策规则,而机器学习的决策树则能够从数据中自动学习决策规则。
当前,人工智能的快速发展不仅依赖于深度学习等复杂模型,同时也离不开决策树等传统算法的改进和融合。比如,以 XGBoost 和 LightGBM 为代表的增强决策树模型在诸多机器学习竞赛中取得优异成绩,表明传统算法并未被淘汰,反而在新的计算范式下焕发新生。
这种现象类似于文艺复兴时期对古典知识的重新发掘和创新,使得“AI:算法的文艺复兴”成为一个合理的比喻。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2025-3-30 02:31
Powered by ScienceNet.cn
Copyright © 2007-2025 中国科学报社