||
内容提要
《国家科学评论》在线发表了南京大学周志华教授等人撰写的研究论文:
Deep Forest
Zhi-Hua Zhou and Ji Feng
Natl Sci Rev 2018; doi: 10.1093/nsr/nwy108
https://doi.org/10.1093/nsr/nwy108
文章讨论了深度学习模型成功的三个重要因素,并在此基础上提出了“深度森林”模型,为新型深度学习模型的设计开拓了道路。
深度学习是目前人工智能和机器学习中最热门的研究领域。现有深度学习技术是通过神经网络模型来实现的,因此一般认为“深度学习”接近于“深度神经网络”的同义词。虽然深度学习取得了巨大的成功,直接掀起了这一波人工智能热潮,但有很多问题仍然笼罩在谜团之中,例如学界对“深度模型成功的原因是什么”这个基本问题还没能给出答案。
近日,NSR在线发表了周志华教授等人撰写的研究论文“Deep Forest”,对这个问题进行了探讨。
作者认为深度学习模型的成功有三个重要因素,即逐层加工、内部特征变换、以及充分的模型复杂度。进一步,作者猜想只要能设计出满足上述条件的模型,就可能成为有效的深度学习模型,未必一定要使用神经网络。
深度森林结构图示
基于这个认识,作者提出了“深度森林”模型。一方面,该模型对上述猜想进行了验证。另一方面,这是第一个基于不可微构件的深度学习模型,其训练过程不需BP(error Back Propagation,误差反向传播),不依赖梯度计算。在涉及符号、离散建模或混合建模的任务上,该模型是对擅长数值建模任务的神经网络模型的有益补充。
该工作打破了深度学习只能基于神经网络模型的认识,为新型深度学习模型的设计开拓了道路;文章关于深度学习成功因素的讨论,也为机器学习理论界进一步的严格分析探讨提供了启发。
《中国科学》杂志社 Science China Press
公众微信号:scichina1950
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-12-24 01:24
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社