關于無約束最優(yōu)化問題的擬牛頓算法研究.pdf

1、擬牛頓算法是求解無約束最優(yōu)化問題最常用的方法之一.擬牛頓算法是牛頓法的一種推廣,牛頓法中每次迭代都需要計算Hessian矩陣,但計算Hessian矩陣工作量大,并且有的很難計算,甚至不好求,而以擬牛頓方程為基礎構造的擬牛頓算法克服了牛頓法的這一不足.擬牛頓算法利用目標函數(shù)的一階導數(shù)信息構造出目標函數(shù)的曲率近似,而不需要明顯形成Hessian矩陣,而且具有超線性收斂速度的優(yōu)點. 擬牛頓方程在擬牛頓算法的研究過程中起著舉足輕重的作用

2、.傳統(tǒng)的擬牛頓方程只利用了目標函數(shù)的梯度信息而忽略了目標函數(shù)值的信息,這無疑是對信息資源的浪費.考慮到對信息資源的充分利用,已有許多研究者們對傳統(tǒng)的擬牛頓方程進行修改,并推導出新的擬牛頓算法.本文借助于前人的思想利用四階泰勒展開,提出了-種新擬牛頓方程,從而為擬牛頓方程的進一步修改奠定了理論基礎.然后對基于新擬牛頓方程的新擬牛頓算法進行了研究.這些新擬牛頓算法不僅保留了常見擬牛頓算法的大部分良好性質,而且在近似目標函數(shù)的二次曲率時比以往

3、的擬牛頓算法都有更高的精確度.本文主要研究內容如下： 第一、討論了基于新擬牛頓方程的BFGS新擬牛頓算法的收斂性.首先通過四階泰勒展開提出了一種新擬牛頓方程,新擬牛頓方程不僅利用了目標函數(shù)的梯度信息,而且用到了目標函數(shù)值的信息.在此基礎上推導出了一種新的BFGS校正公式,并結合Wolfe線性搜索給出了相應的BFGS新擬牛頓算法.其次,論證了這種新擬牛頓算法在wolfe線性搜索下對凸函數(shù)具有全局收斂性,并且證明了在一定條件下是超線

4、性收斂的.最后,以C語言為工具進行數(shù)值實驗,實驗結果表明新算法是有效的. 第二、證明了基于新擬牛頓方程的修改Broyden族全局收斂性.基于上述的新擬牛頓方程提出了修改Broyden族校正公式,在采用一種比Wolfe線性搜索更廣泛的LS線性搜索模型下,提出修改Broyden族的新擬牛頓算法.然后,對一致凸函數(shù)證明了這種新算法的全局收斂性,為修改Broyden族的進一步研究奠定基礎. 第三、討論了基于新擬牛頓方程的新擬牛頓