改進(jìn)的多分塊凸優(yōu)化問(wèn)題的交替方向乘子法.pdf

1、在這個(gè)信息快速增長(zhǎng)的時(shí)代，越來(lái)越多的實(shí)際問(wèn)題需要依靠數(shù)據(jù)分析去解決，而問(wèn)題相關(guān)的數(shù)據(jù)量也越來(lái)越大。此時(shí)，能夠處理大規(guī)模數(shù)據(jù)的統(tǒng)應(yīng)用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)方法就顯得格外重要。交替方向乘子法(the Alternating Direction Method of Multipliers;ADMM)是一個(gè)在應(yīng)用統(tǒng)計(jì)和機(jī)器學(xué)習(xí)領(lǐng)域的常用算法，它能夠?qū)⒋笮蛦?wèn)題分解為可數(shù)個(gè)子問(wèn)題，利用分布式系統(tǒng)實(shí)現(xiàn)大數(shù)據(jù)問(wèn)題的求解。依靠針對(duì)大規(guī)模數(shù)據(jù)計(jì)算的優(yōu)勢(shì)， ADMM

2、算法近年來(lái)成了一個(gè)研究熱點(diǎn)。原始的ADMM算法是用來(lái)解決目標(biāo)函數(shù)為兩部分的凸優(yōu)化問(wèn)題。然而，很多實(shí)際問(wèn)題所涉及到的凸優(yōu)化問(wèn)題，目標(biāo)函數(shù)由三個(gè)及以上的部分組成，這樣就出現(xiàn)了針對(duì)多分塊凸優(yōu)化問(wèn)題的ADMM推廣算法。本文總結(jié)了兩種ADMM推廣算法(DADMM, BADMM)的原理及其收斂性結(jié)論，在此基礎(chǔ)上提出了一個(gè)新的針對(duì)多分塊凸優(yōu)化問(wèn)題的ADMM推廣算法——TADMM(Triple-group extension Alternating D

3、irection Method of Multipliers for Multiple-block Convex Programming)，討論了它的收斂性情況，給出了一個(gè)收斂充分條件——存在兩個(gè)分組后的系數(shù)矩陣正交。新的算法保持了BADMM的優(yōu)勢(shì)，并且能在目標(biāo)函數(shù)分組時(shí)提供更多的選擇。在數(shù)值試驗(yàn)中，選擇了兩個(gè)多分塊凸優(yōu)化問(wèn)題對(duì)算法進(jìn)行試驗(yàn)，其中算例1為圖像修復(fù)領(lǐng)域的常用模型。實(shí)驗(yàn)結(jié)果顯示：相對(duì)于BADMM算法，TADMM算法在收斂速度