不确定性的困惑与NP理论分享 http://blog.sciencenet.cn/u/liuyu2205 平常心是道

博文

决策树 - “AI:算法的文艺复兴”的典型案例

已有 248 次阅读 2025-3-25 23:28 |个人分类:智能哲学|系统分类:科研笔记

决策树从最初的人工设计的决策流程图,演变为能从数据中自动学习的强大工具,这一转变体现了机器学习如何吸收传统算法并赋予其新的能力。

决策树的发展历程可以分为两个主要阶段:

1. 前机器学习时代(1950s-1970s

决策树最初作为算法的基本数据结构,用于表达分步决策过程,广泛应用于自动决策系统、专家系统的规则表示以及算法的分治策略可视化。 比如,1959年,NewellSimon发的通用问题求解器(General Problem SolverGPS,决策树扮演了重要角色。

2. 机器学习时代(1980s至今)

1986年,Quinlan 在开 ID3 算法时,引用了 NewellSimon关于GPS的研究,使决策树系统化地应用于机器学习。 1984年,Breiman 等人正式提出 CARTClassification and Regression Trees)算法,使用信息熵、基尼系数等数学工具进行特征选择,并发展出系统的剪枝方法以防止过拟合,使决策树成为机器学习核心算法之一。

键转变点

传统算法的决策树由人工设计决策规则,而机器学习的决策树则能够从数据中自动学习决策规则。

当前,人工智能的快速发展不仅依赖于深度学习等复杂模型,同时也离不开决策树等传统算法的改进和融合。比如,以 XGBoost LightGBM 为代表的增强决策树模型在诸多机器学习竞赛中取得优异成绩,表明传统算法并未被淘汰,反而在新的计算范式下焕发新生。

这种现象类似于文艺复兴时期对古典知识的重新发掘和创新,使得“AI:算法的文艺复兴为一个合理的比喻。



https://blog.sciencenet.cn/blog-2322490-1479315.html

上一篇:AI:算法的“文艺复兴”
下一篇:亚里士多德的逻辑“同一律”与赫拉克利特的“流变”思想
收藏 IP: 77.201.68.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

1/0 | 总计:0 | 首页 | 上一页 | 跳转

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-3-30 02:31

Powered by ScienceNet.cn

Copyright © 2007-2025 中国科学报社

返回顶部