非線性極小極大問題的最優化演算法是否有參考文獻?

時間 2021-05-29 23:54:32

1樓:

凸優化問題,可以快速搞定最優解。

該問題有兩個特殊,min-max結構與簡單約束x>0。

最簡單的做法是,對max結構用log-sum-exp平滑替換,得到光滑的目標函式;然後採用快速梯度下降或FISTA求解。

2樓:遠處群山

這個問題的形式很複雜,但是理清頭緒以後並不困難。

首先我們令

其中 是乙個長度為n的行向量, 和 分別是m的第i和j行。再令 。

這樣一來,目標函式 就可以寫成:

注意,原問題 等價於

P2)其中 。等價性是因為從f到g是保序的,就是說如果 ,那麼 。為了求解P2,我們引入一些中間變數,即令

所以P2就等價於:

注意上述問題的目標函式恰好等於 ,所以上述問題轉化為

[1] Boyd, Stephen, et al. Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers. 2011.

[2] He, Bingsheng, and Xiaoming Yuan. 「On Non-Ergodic Convergence Rate of Douglas---Rachford Alternating Direction Method of Multipliers.」Numerische Mathematik, vol.

130, no. 3, 2015, pp. 567–577.

[3] Parikh, Neal, and Stephen Boyd. Proximal Algorithms. 2013.

怎麼理解線性轉換和非線性轉換?

chenxingwei 首先你對非線性的理解是錯的。比如說向量 同時有矩陣 相乘之後變為 維度改變了,但是這個是線性變換。若是沒有非線性啟用函式,神經網路就程式設計下面這樣了 為第一層輸出 是第二層輸出,實際上上式中可以設 這樣 也就是二層的神經網路跟一層的是一樣的,類似於線性回歸。若是沒有非線性啟...

極大極小演算法有些不明白

先來說極小極大演算法主要應用於什麼樣的遊戲 1.零和遊戲 Zero sum Game 意思就是你死我活,一方的勝利代表另一方的失敗,比如,象棋,五子棋等。2.完全資訊 Perfect Information 玩家知道之前所有的步驟。象棋就是完全資訊,因為玩家是交替著落子,且之前的步驟都能在棋盤上體現...

ReLU是分段線性函式,非線性對映能力足以擬合任意函式嗎?

程式設計浪子 ReLU的意義是作為MLP中的啟用函式,擬合是MLP本身來實現的,而MLP中的每個節點可以選用任何啟用函式,只要能將輸出抑制在一定區間內,所以擬合能力跟啟用函式本身是不相關的。一開始經典MLP都是用Sigmoid作啟用函式,但Sigmoid因為其函式本身的性質會導致向後傳遞修正時殘差衰...