drwuHUST的个人博客分享 http://blog.sciencenet.cn/u/drwuHUST

博文

多任务遗传算法

已有 954 次阅读 2019-9-14 19:42 |个人分类:计算智能|系统分类:科研笔记

多任务学习是机器学习,特别是迁移学习,的一个子领域。它使用来自相近或相似任务的辅助数据或知识来促进在新任务中的学习。因而,对于新任务而言,我们可以用更少的数据来构建模型。换句话说,使用同样数量的来自新任务的数据,我们可以训练出更好的模型。在多任务学习中,多个相关学习任务使用(部分)共享的模型表示并同时进行训练。因而,包含在这些任务中的通用信息可以用来有效促进单个任务的学习效率和泛化能力。

多任务优化把多任务学习应用到优化问题中,研究如何可靠和高效地同时解决多个优化问题。多任务进化集成了进化计算和多任务学习,是多任务优化中的一个迅速发展的新领域。多任务进化假定在进化过程中,每个子任务都对其他子任务有一定的(正面)影响,从而把来自多个任务的种群集成到一起并同时演化可能会比单独演化每个子任务要更高效。目前多任务进化的最有名的算法是多因子进化算法multi-factorial evolutionary algorithm (MFEA)

本研究考虑单目标多任务优化,即待优化问题的目标函数都只有一个(而非多个)。文献中有不少的相关算法,其中主要考虑如下问题:

1. 如何有效地在子任务间传递相关信息。

2. 如何更好地为不同的子任务分配计算资源。

3. 如何动态调整不同子任务间传递的信息。

4. 如何结合其他优化算法。

5. 如何应用到新的优化问题中。 

 我们提出了一种新的多任务遗传算法(MTGA),通过动态估计子任务间的偏差来更好地传递有用信息。其简单示意如下图所示。具体算法细节可见文末参考文献。

MTGA1.png

 我们在WCCI 2018竞赛提供的9个公共基准数据集上跟文献中现有的8种单任务和多任务进化算法做了比较,我们提出的MTGA算法的整体效果最优,如下图所示(Performance Score越小越好):

MTGA2.png


同时,我们的MTGA速度也几乎是最快的,如下图所示:

MTGA3.png


最后,我们把MTGA应用到了一个现实生活中的优化问题:区间二型模糊系统的设计。前面博文(http://blog.sciencenet.cn/home.php?mod=space&uid=3418535&do=blog&id=1194831)已指出,区间二型模糊系统往往可以取得比传统一型模糊系统更好的性能;然而,区间二型模糊系统参数更多,设计更加复杂。目前文献中提出的区间二型模糊系统的优化方法可以分为两大类:

1. 半依赖策略:先设计一个最优的一型模糊系统,然后再进一步模糊化其隶属度函数,得到区间二型模糊系统。

2. 全独立策略:完全从头设计一个区间二型模糊系统,不需要从一型模糊系统出发。

  基于MTGA,我们提出一个全新的模糊系统优化策略:同时优化一型和区间二型模糊系统。本策略具有如下优点:

    1. MTGA同时优化一型和区间二型模糊系统可能会得到比单独优化两个模糊系统更好的结果。

    2. 同时得到一个简单的一型模糊系统和一个更加复杂的区间二型模糊系统可以让设计者有机会比较两个系统,从性能和运算代价折中的角度考虑,选择更合适的模糊系统。


  我们以下图所示的双水箱液位控制系统为例,演示了使用MTGA可以得到更好的一型和区间二型模糊控制器。

MTGA4.png


本工作由华中科技大学人工智能与自动化学院伍冬睿教授和前硕士生谭显烽(现地平线机器人)共同完成,伍冬睿教授为第一作者和通讯作者,目前在IEEE Transactions on Fuzzy SystemsIF= 8.759)二审中:


D. Wu and X. Tan, "Multitasking Genetic Algorithm (MTGA) for Fuzzy System Optimization," IEEE Transactions on Fuzzy Systems, 2019, submitted.


arXiv版本:https://arxiv.org/abs/1812.06303




http://blog.sciencenet.cn/blog-3418535-1197956.html

上一篇:一种脑机接口中的数据对齐方法
下一篇:基于病人基本体检信息的试管婴儿累计妊娠概率预测

2 彭真明 徐绍辉

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备14006957 )

GMT+8, 2019-11-16 09:17

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部