博文
改进型ADMM算法：融合Nesterov加速梯度法的Lasso问题求解
||
编辑荐语
本变量数远多于样本数时，普通最小二乘法极易过拟合，模型可解释性与泛化能力双双下降。Lasso回归通过引入l_1范数惩罚项，在压缩系数的同时自动筛选特征，成为高维数据分析的经典工具。但l_1范数的非光滑性使得问题无法直接求导，传统梯度方法失效。交替方向乘子法（ADMM）虽能处理此类非光滑目标，却在大型问题中收敛缓慢，影响实用效率。
本文借鉴Nesterov加速梯度法的历史梯度修正思想，提出一种改进型ADMM算法，在保持结构简洁的同时显著提升收敛速度。仿真算例验证了该算法的有效性与效率优势。
Enhanced ADMM for solving the Lasso problem integrating the Nesterov accelerated gradient method
改进型ADMM算法：融合Nesterov加速梯度法的Lasso问题求解
Shengke Yang1, Jing Chen1, Yawen Mao1, Yang Yi2
机构：1. School of Science, Jiangnan University 2. School of Information Engineering, Yangzhou University
引用：Yang, S., Chen, J., Mao, Y. et al. Enhanced ADMM for solving the Lasso problem: integrating the Nesterov accelerated gradient method. Control Theory Technol. (2026). https://doi.org/10.1007/s11768-026-00317-6
摘 要
本文提出了一种改进的交替方向乘子法（ADMM）算法，并将其应用于求解Lasso（最小绝对收缩和选择算子）问题。通过采用Nesterov加速梯度法对拉格朗日乘子进行增强，使得对偶问题能够快速逼近最优值。与传统的ADMM算法相比，本文所提算法具有更快的收敛速度。最后，仿真算例验证了所提算法的有效性。
引 言
在现代数据科学中，如何有效管理高维复杂数据是一项基本挑战。传统的普通最小二乘（OLS）方法不适用于此类场景，容易受到“维度灾难”的影响——它们往往会产生严重的过拟合，导致模型过于复杂、可解释性差，且泛化能力有限。
为了在预测精度与模型简洁性之间取得平衡，研究者提出了最小绝对收缩和选择算子（Lasso）回归。其一般形式如下：
其中，ϕ∈R^n是未知向量，A∈R^(m×n)是一个行满秩矩阵，满足n>m，b是已知向量，μ是一个正标量。通过在损失函数中加入l_1范数惩罚项，Lasso 同时实现了收缩系数以减轻过拟合，并强制产生稀疏解，从而能够自动进行特征选择，提升模型的可解释性。尽管具有这些优点，Lasso 本身也带来了优化方面的挑战：l_1惩罚项的非光滑性使其无法获得闭式解，导致标准的最小二乘技术不再适用。因此，开发高效且稳定的算法对于充分挖掘其潜力至关重要。
l_1范数的非光滑性使得标准的梯度下降等光滑优化方法无法有效求解 Lasso 问题。交替方向乘子法（ADMM）诞生于 20 世纪 70 年代，能够有效处理带有非光滑分量的目标函数。ADMM 以其简洁性和通用性著称，已成为机器学习、图像处理、统计学和运筹学等领域中的标准工具。
Nesterov 加速梯度（NAG）算法由 Yurii Nesterov 于 1983 年提出，是一种基于梯度的方法，旨在显著提升收敛速度。NAG 利用历史梯度信息估计一个临时的参数更新，然后利用前向梯度对方向进行修正，从而实现更精确的校正和更快的收敛。
尽管传统的 ADMM 算法能够获得 Lasso 问题的近似解，但其收敛速度相当缓慢。受上述方法的启发，本文提出了一种基于 NAG 方法的改进型 ADMM 算法。通过使用加速技术，改进后的 ADMM 算法具有更快的收敛速度。
结 论
本文提出了一种改进的ADMM算法用于求解Lasso问题。该算法利用加速梯度技术来提高收敛速度。除了其实际效能之外，本文通过将一阶加速技术与算子分裂方法相结合，为统计学习中更广泛的优化领域做出了贡献。尽管如此，仍有若干开放性问题尚待解决——其中最核心的是超参数的原则性选择与调优问题，这些超参数对收敛行为与泛化性能均有重要影响，因而值得进行更深入的理论与实证研究。
作者介绍
Shengke Yang 于2023年获得南京信息工程大学数学与应用数学专业理学学士学位，目前正在江南大学攻读数学专业硕士学位。其主要研究方向涵盖机器学习、凸优化与人工智能。
Jing Chen 于2003年和2006年分别获得扬州大学数学科学学院理学学士学位和信息工程学院理学硕士学位，并于2013年获江南大学物联网工程学院博士学位。现任江南大学理学院教授、副院长，江苏省高校“青蓝工程”中青年学术带头人。其主要研究方向包括过程控制、系统辨识与机器学习。
Yawen Mao 于2013年和2019年分别获得江南大学物联网工程学院工学学士学位和博士学位。现任江南大学理学院副教授。2016年至2018年期间，在加拿大阿尔伯塔大学（埃德蒙顿）担任访问学者。其主要研究方向包括过程控制与系统辨识。
Yang Yi 于2002年和2005年分别获得扬州大学数学系理学学士学位和信息工程学院理学硕士学位。自2005年起，在东南大学自动化研究所攻读博士学位。其主要研究方向包括自适应控制、随机系统、神经网络与滑模控制。
相关链接
Control Theory and Technology 2024-2025年期刊合集（中文介绍）
2024-2025刊期合集（英文）
Volume 23 (February - November 2025)
Issue 3, 2025 - Special issue on ADRC: New ADRC developments in Ibero-America
Volume 22 (February - November 2024)
Issue 3, 2024 - Special issue on analysis and control of complex systems in honor of the 90th birthday of Professor Huashu Qin
Issue 2, 2024 - Special issue on system identification and estimation
期刊简介
欢迎扫码进入期刊主页
Control Theory and Technology (CTT), 中文名《控制理论与技术》, 创刊于2003年，原刊名为Journal of Control Theory and Applications，2014年刊名更改为Control Theory and Technology。由华南理工大学与中国科学院数学与系统科学研究院联合主办，主要报道系统控制科学中具有新观念、新思想的理论研究成果及其在各个领域中的应用。目前被 ESCI (JIF 1.5)、EI、Scopus (CiteScore 3.2)、CSCD、INSPEC、ACM 等众多数据库收录, 并于2013–2018年获得两期中国科技期刊国际影响力提升计划项目资助。2017–2021年连续获得“中国最具国际影响力学术期刊”和“中国国际影响力优秀学术期刊”称号，获得广东省高水平科技期刊建设项目I期(2021-2024年)和II期，2022-2025年进入中国科协自动化学科领域高质量科技期刊目录。
官网：https://link.springer.com/journal/11768 (即http://www.springer.com/11768)
https://jcta.ijournals.cn/cta_en/ch/index.aspx
投稿：https://mc03.manuscriptcentral.com/ctt
微信：ControlTheoryTech （欢迎扫码关注期刊微信公众号）
X (Twitter): CTT_Journal
微博：ControlTheoryTech
Email：jcta@scut.edu.cn
Tel：020-8711 1464
https://blog.sciencenet.cn/blog-3635716-1532704.html
上一篇：具有未知传感器灵敏度的非线性系统输出反馈干扰抑制
