共轭梯度的文献综述

共轭梯度的文献综述

共轭梯度法（Conjugate Gradient, CG）是一种广泛应用于优化问题的算法，它通过迭代地沿着与当前梯度和搜索方向正交的搜索方向更新解向量，从而加速收敛。下面是对共轭梯度法文献的综述：

历史背景

起源：共轭梯度法最初由Hestenes和Stiefel在1952年提出，用于求解正定线性方程组。

推广：Fletcher和Reeves在1964年将共轭梯度法推广到非线性最优化问题。

基本原理

CG算法通过寻找比梯度下降算法更优的搜索方向来加快收敛速度。

在每次迭代中，CG算法检查上一次搜索方向与当前梯度的共轭关系，以决定是否选择新的搜索方向。

收敛性

对于非凸优化问题，CG算法在强Wolfe线搜索下是全局收敛的。

对于不可微凸优化问题，CG算法在Moreau-Yosida正则化策略下也是全局收敛的。

应用领域

CG算法广泛应用于优化、机器学习、神经网络等领域。

特别是在图像复原和压缩感知中，CG算法表现出良好的性能。

改进算法

混合共轭梯度法：结合了共轭梯度法与其他优化技术，如PRP方法和HS方法，以提高数值表现。