博文

国防科技大学杜永浩副教授团队丨大模型赋能智能优化算法研究进展综述

已有 925 次阅读 2026-9-21 17:06 |个人分类:论文推荐|系统分类:博客资讯

编辑荐语

本期将给大家分享"大模型赋能智能优化算法研究进展综述(Advances in large language model-enhanced intelligent optimization algorithms)". 如您对本期相关内容有好的理解与建议, 欢迎评论区留言.

传统智能优化算法在应对超大规模、动态变化的复杂优化问题时, 长期受困于专家经验依赖性强、计算成本高昂与动态适应性差等固有瓶颈. 大语言模型凭借其强大的代码生成、逻辑推理与知识融合能力, 正为突破这些局限带来革命性契机. 本文系统梳理了LLM赋能智能优化的两大技术路径: 组件生成范式利用LLM自动生成初始解构造策略、搜索算子、解的估计方法乃至完整算法框架, 显著降低了对人工经验的依赖; 代理执行范式则将LLM作为端到端求解器, 直接理解以自然语言描述的优化任务并生成初始解、邻域解乃至最终解, 开创了自然语言驱动问题求解的新范式. 文章进一步归纳了这些方法在经典优化问题(如路径规划、调度优化)及行业实践中的应用成效, 并深入剖析了当前研究面临的核心挑战——动态环境下的泛化能力不足、复杂约束下语义表征的保真度缺失, 以及大规模问题求解时的计算效率瓶颈. 基于此, 作者前瞻性地提出了构建统一语义建模框架、研究解空间语义压缩技术、探索算法演进机制及共建开源评估体系等未来方向. 综述视野宏阔、脉络清晰，为该交叉领域的研究者提供了高质量的全景式参考与路线图.

论文介绍

大模型赋能智能优化算法研究进展综述

Advances in large language model-enhanced intelligent optimization algorithms

李婕1, 杜永浩1†, 姚锋1, 陈盈果1, 郭雅萍2

机构: 1. 国防科技大学系统工程学院; 2. 装备项目管理中心.

引用: 李婕, 杜永浩, 姚锋, 等. 大模型赋能智能优化算法研究进展综述. 控制理论与应用, 2026, 43(7): 1419 – 1429

DOI: 10.7641/CTA.2026.50315

全文链接:

https://jcta.ijournals.cn/cta_cn/ch/reader/view_abstract.aspx?file_no=CCTA250315&flag=1

摘要

针对传统智能优化算法在面对超大规模问题时存在的专家依赖性强、计算成本高和动态适应性差等局限性, 综述了大语言模型(LLM)赋能智能优化算法的研究进展. 首先, 梳理了LLM在生成初始解构造策略、搜索算子、解的估计方法以及构造完整智能优化算法等环节的主要方法; 其次, 剖析了LLM作为代理直接参与优化过程, 生成初始解、邻域解、端到端地生成解以及代理解的估计方法的工作原理与面临的挑战; 在此基础上, 综述了LLM赋能的智能优化方法在经典优化问题及行业实践中的应用情况; 最后, 讨论了当前研究在计算效率、跨领域泛化及处理复杂约束时的语义保真度等方面的局限性, 并指出构建统一语义建模框架、研究解空间语义压缩技术、共建开源评估体系及探索算法演进机制等未来研究方向.

引言

21世纪以来, 以遗传算法[1]、粒子群优化[2]、蚁群算法[3]、模拟退火[4]为代表的智能优化算法[5–6]进入了快速发展时期, 其鲁棒性、收敛速度以及全局搜索能力都得到了持续的提升. 目前, 智能优化算法已被广泛应用于路径规划、卫星任务调度、柔性作业车间调度、机器学习模型调参以及神经网络结构搜索等众多领域[7–11] . 然而, 随着问题复杂度的持续攀升, 智能优化算法固有的局限性也日益凸显. 例如, 一些高性能的智能优化算法常需要针对特定问题来设计算子、参数和策略, 这就会导致算法的设计过度依赖专家经验, 且通用性较差. 此外, 在面对超大规模问题时, 这类基于迭代搜索的智能优化算法需执行大量的评估, 极易造成较大的计算开销. 因此, 实现更智能、更高效的优化是智能优化算法发展的必然要求. 在此背景下, 大语言模型(large language model, LLM) 所展现出的强大代码生成、逻辑推理与知识融合能力, 使其有望突破传统智能优化算法的局限性, 从而开辟出以自然语言驱动算法设计与求解的新范式.

为了降低组件设计对专家经验的依赖, 研究者们开始广泛地利用LLM来自动地生成算法的核心组件. 其中, 初始解、搜索算子[12–13]、解的估计方法以及完整的智能优化算法均是智能优化方法的核心组件, 它们决定着算法的关键性能. 目前, 基于提示工程的指令生成、基于强化学习的策略搜索[14]等多种方法均被尝试用于生成智能优化算法的核心组件, 其赋能效果已在多个研究中得到验证. 例如, 在遗传编程领域, LLM GP(LLM genetic programming)框架能够通过语义引导自动地生成进化算子. 在多目标优化中, MOEA/D-LLM(multi-objective evolutionary algorithm based on decomposition with LLM collaboration)框架将LLM作为零样本黑盒算子, 达到了和人工设计的多目标进化算法相同的运行效果. 可见, LLM 正凭借着其强大的模式识别与知识迁移能力推动着算法的组件生成越来越智能化.

此外, 由LLM直接代理智能优化算法及组件求解优化问题, 正成为提升优化问题求解效率的另一关键范式. 该范式重构了传统的优化问题求解流程, 使LLM直接理解以自然语言描述的优化任务, 从而实现端到端的问题求解. 例如, OPRO(optimization by PROmpting)框架通过将带有性能得分的历史解反馈给LLM, 使其从过往经验中学习并生成更优的解. 实验表明, 由OPRO优化生成的提示, 在多个基准测试上的性能显著优于人类专家设计的提示. 这些代理方法展现出良好的端到端求解潜力, 为推动复杂优化问题的求解开辟了新的途径.

目前, LLM赋能智能优化算法主要包括赋能组件生成与代理执行这两种主要方式. 其中, 组件生成范式利用LLM理解语义与生成代码的能力, 自动地构建优化算法的核心组件, 从而在根本上提升算法的性能. 而代理执行范式则将LLM作为端到端的求解器, 通过理解自然语言描述直接生成解决方案. 这两种范式相互协同, 覆盖了从算法设计到问题求解的全过程. 一方面, 组件生成范式产出的高性能算子, 可作为工具集被封装并嵌入到代理执行框架中, 以提升端到端求解的效率; 另一方面, 代理执行范式能够根据环境的实时变化, 动态地调用组件生成能力, 即时构建新的算法组件, 从而实现算法的自适应与动态重构.

为梳理LLM赋能智能优化算法的研究现状, 本文对相关领域的文献进行了检索与分析. 截止至2025年中期, 在Web of Science、中国知网等数据库中, 以“大语言模型”和“智能优化”为主题的研究文献已超过百篇, 且自2023年以来其数量呈指数级增长, 这表明该领域已成为当前的一个研究热点. 通过对这些文献按技术路径进行归类, 发现LLM赋能的组件生成范式相关研究约占文献总量的65%, 而LLM代理执行范式约占文献总量的35%. 不过, 当前研究尚处于发展初期, 现有文献[15–16]的研究大多集中于LLM赋能的组件生成技术或直接代理求解等特定方面.

本文从整体上梳理了LLM赋能智能优化算法的两大技术路径–—组件生成与代理执行, 整理了相关文献, 并对该研究方向的应用和发展前景进行了展望, 具体结构如图1所示. 其中, 第1节探索了LLM如何生成智能优化算法的初始解的构造策略、解的估计方法、搜索算子以及完整的智能优化算法框架; 第2节讨论了LLM如何直接参与优化过程生成初始解、生成邻域解、代理解的估计方法以及端到端地生成解; 第3节介绍了LLM在经典优化问题领域以及行业优化实践中的应用; 第4节对LLM赋能智能优化问题领域未来的研究趋势进行了展望.

结束语

智能优化算法是产业智能化升级的核心驱动力, 直接决定了智能制造、物流调度等关键领域的运行效率. 而传统优化方法在设计启发式规则时高度依赖专家经验, 开发周期长, 且存在静态算法架构难以适应动态环境变化、大规模问题求解效率受限等问题. 针对上述问题, LLM为其提供了新的解决路径. LLM通过自动生成进化算子、动态构建邻域搜索策略、端到端优化代理等技术, 实现了算法设计的自动化. 本文梳理了LLM赋能的优化技术创新体系, 为未来重构智能优化范式、突破产业应用瓶颈提供了参考.

本文的主要工作如下: 1) 根据赋能模式的不同, 将LLM赋能的智能优化研究分为组件生成范式与代理执行范式, 阐明了各类范式的技术路径与创新特征; 2) 介绍了 Promptbreeder, OPRO, CRISPE等具有突破性的LLM优化框架, 分析了其在动态环境适应性、跨领域泛化能力及语义可解释性方面的核心优势与应用前景; 3) 综述了LLM赋能智能优化算法在解决经典优化问题和行业优化实践中的成功应用案例, 展现了其解决现实复杂优化问题的巨大潜力.

然而, 通过本文的综述发现, 现有的LLM赋能智能优化算法研究主要面临动态环境下的泛化能力不足的挑战. 此外, LLM 在处理包含复杂约束与非线性目标权衡的优化问题时, 由于其自然语言表征能力难以准确映射符号结构化知识, 常导致LLM生成的候选解偏离全局最优解集. 由此, 本文指出以下几点未来LLM赋能智能优化算法研究的新方向:

1) 构建动态约束的统一语义建模框架.

基于神经符号的结构化建模方法是解决LLM在解析复杂动态约束时的歧义性问题的核心路径. 该方法可通过引入一个为优化问题设计的领域特定语言来实现, 其中LLM负责将自然语言约束翻译为形式化的领域特定语言 (domain-specific language, DSL)代码, 再由符号推理引擎进行精确的冲突检测与逻辑验证. 该模式深度融合了LLM的灵活性与符号逻辑的严谨性, 有望从根本上提升LLM处理复杂约束时的可靠性.

2) 研究解空间的语义驱动压缩技术.

为解决当前剪枝技术在全局优化与实时性间的平衡难题, 一个更具潜力的方向是发展基于隐空间映射的语义压缩技术. 其核心技术载体为基于Transformer架构的变分自编码器, 利用LLM将高维、离散的原始解空间映射至一个低维、连续的隐空间内进行高效优化搜索. 优化完成后, 再通过解码器将隐空间中的最优表征映射回原始解空间. 该方法通过从根本上重构并压缩搜索空间, 而非简单剪枝, 有望在保留关键解结构的同时, 解决超大规模优化问题中的维度灾难.

3) 探索大模型赋能的算法演进机制.

为使智能优化算法具备在运行过程中自我诊断、自我改进的演进能力, 可探索基于大模型的算法演进机制. 其核心是构建一个“算法–环境–大模型”的闭环学习系统. 在该系统中, 大模型持续监控算法在求解过程中的实时表现, 并基于其对优化理论与算法原理的深层语义理解, 动态地诊断算法在当前问题实例上性能瓶颈的根本原因, 进而生成针对性的调整策略, 以实现针对特定问题实例的自适应优化.

4) 共建基于LLM的优化算法开源评估体系.

为解决当前评估依赖孤立测试集、难以公平比较算法泛化能力的问题, 亟需构建一个标准化的开源评估基准. 该基准的核心在于集成统一的应用编程接口、程序化问题生成器以及标准化评估协议与排行榜, 从而为不同算法提供一个公平的量化比较平台, 加速该领域的标准化进程.

作者简介

李婕硕士研究生, 目前研究方向为智能优化方法与卫星调度应用.

杜永浩副教授, 博士研究生, 目前研究方向为智能优化方法与卫星调度应用.

姚锋教授, 博士研究生, 目前研究方向为运筹规划与智能系统工程.

陈盈果副教授, 博士研究生, 目前研究方向为任务规划、智能决策.

郭雅萍工程师, 硕士研究生, 目前研究方向为卫星系统设计与任务规划.

期刊介绍

《控制理论与应用》(Control Theory & Applications)是经国家科学技术部批准, 教育部主管, 由华南理工大学和中国科学院数学与系统科学研究院联合主办的全国性一级学术刊物, 1984年创刊, 月刊, 国内外公开发行. 《控制理论与应用》是中国科学引文数据库首批统计源期刊之一，中文核心期刊，入选中国精品科技期刊顶尖学术论文F5000项目，中国科协自动化学科领域高质量科技期刊目录以及中国科协百篇优秀科技论文遴选计划，2021年入选广东省高质量科技期刊建设项目，2022-2024年连续获得基金委资助（科技活动专项）。

期刊封面2.jpg 目录2.jpg