ADMM演算法的詳細推導過程是什麼?

時間 2021-05-06 08:00:43

1樓:Liber

沒有這麼複雜。

如果你看過《凸優化》王書寧等譯,Stephen Boyd 等著. ( 沒有學過,請看教學 機器學習之凸優化)

然後,看Stephen Boyd等人原版推導:Distributed Optimization and Statistics via Alternating Direction Method of Multipliers。

2樓:Anna

交替方向乘子法(ADMM)是一種求解具有可分離的凸優化問題的重要方法,由於處理速度快,收斂效能好,ADMM演算法在統計學習、機器學習等領域有著廣泛應用。

ADMM演算法一般用於解決如下的凸優化問題:

其中, 為目標函式 的優化變數, 為目標函式 的優化變數, , , 。 函式 , 是凸函式。

它的增廣拉格朗日函式如下:

0" eeimg="1"/>

其中, 稱為拉格朗日乘子, 是懲罰引數且 0" eeimg="1"/>。此時,用ADMM演算法進行求解,則過程如下:

第一步簡化:

通過公式 替換增廣拉格朗日函式中的線性項 和二次項於是ADMM求解過程可以簡化為如下形式:

第二步簡化:

令縮放對偶變數為 ,於是ADMM求解過程再次簡化為如下形式:

感知機演算法的對偶形式是如何推導出來的?

曇鳶 不知道是不是正確Get了題主的意思,我的理解是 題主認為,SVM的對偶形式是通過使用拉格朗日乘子法解原始最優化問題的對偶問題得到的,而Perceptron的對偶形式為何不能同樣通過解某個最優化問題而直接得到呢?為什麼要先用梯度下降得到解的形式,然後從中 看出 一些 規律 最後 設計 出對偶形式...

「以時間確定經度 是怎麼實現的?背後的推導是什麼樣的?

王紫伊 太陽高度處於一天中最大值時對應當地時間的12點,再通過時間的差異推算,如果阿姆斯特丹時間小於12點,即當地時間數值大,該地位於阿姆斯特丹東面,假設阿姆斯特丹時間為11點,則該地位於阿姆斯特丹所處經度往東加15度,因為地球上每15度為乙個時區。反之,假設阿姆斯特丹時間為13點,當地時間數值小,...

用電腦製作 3D 動畫詳細過程是怎樣的?

展卷聆韵 最近一直很想研究一下做電腦的動畫。看了貴回答,真感覺不是一件容易的事。哪怕是做個二維動畫我看都不是乙個簡單工程。乙個人做,半年能做出來估計就很厲害。佩服樓主學習此專業。 一大綱故事主線,故事走向,故事人物,故事地點 二劇情這個比較長,比如我要做個考大學的故事,第一幕,起的時候安排好人物內心...