应用数学学报

作者：袁功林, 马昕言, 邓蔚, 刘科俊

单位：1 广西大学数学学院, 广西应用数学中心 (广西大学)数学一级学科博士后科研流动站, 南宁 530004;<br>2 南宁职业技术大学, 南宁 530227

关键词：深度学习,共轭梯度法,随机梯度,共轭条件,收敛性

深度学习作为人工智能领域的新兴研究方向, 近年来受到广泛关注, 并在许多应用领域取得了显著的进展. 共轭梯度法作为一种有效的优化方法, 通过迭代逼近最优解, 在数值效果方面表现出色. 与其他方法相比, 这类方法无需计算Hessian矩阵, 从而大大减少了计算和存储空间的需求. 因此, 本文旨在研究共轭梯度法在深度学习中的应用, 并提出了一种新的共轭梯度法, 证明了该算法具有充分下降性和信赖域特征. 此外, 我们还介绍了随机子空间算法以及基于该算法改进的带有方差缩减技术的随机子空间算法, 并给出了新算法的详细步骤, 以便更直观地理解其目的和意义. 通过理论证明, 我们得出了新算法具有良好的收敛性和高效的迭代效率, 且复杂度为$O(\epsilon^{-\frac{1}{1-\beta}})$, 同时通过实验说明该方法有着良好的数值表现.

来源：2026年第2期

《应用数学学报》期刊编辑部

查看应用数学学报杂志2026年第2期