用cvxpy解優化時如何對非零決策變數數量進行約束?

時間 2022-01-03 17:16:55

1樓:派大西

如果沒理解錯的話,題主想要解決下面這問題:

對上式經過適當變化,等價於

這個形式經常出現在特徵提取的問題,但由於0-norm的存在,這個問題是個非凸問題。

這時,壓縮感知(compressive sensing)的話術中,一定條件下,上式等價於

接著來的話,對任意非負實數 ,存在非負實數 ,使得上式等價於

通常解出來的 會有很多零分量,調整 的大小,就能控制零分量的個數。

當 時,對原問題無影響,不會強加零分量;

隨著 變大,解出來的 的零分量會越來越多;

當 時,

這個其實比較古老了,在很久之前就有一門叫Lasso的技術,大概比喻的是把麻繩擰成一股的意思:

類似這個圖(來自scikit),那些彩色線就是解分量,每個橫座標對應了乙個解,當 足夠大(從右向左看),解的分量都朝 收縮了,具體要多少個 ,可以通過這玩意兒來控制。這些線也叫做求解路徑。

Tibshirani, Ryan J., and Jonathan Taylor. "The solution path of the generalized lasso.

"The annals of statistics39.3 (2011): 1335-1371.

後來的發展中,不管有無理論保證, 這種懲罰項跟解的稀疏性進行概念繫結,這也算是一種潛在的共識了。效果不做評價,但用的確實多:

Ma, Rongrong, et al. "Transformed 1 regularization for learning sparse deep neural networks." Neural Networks 119 (2019):

286-298.

word2vec多執行緒優化時不加鎖的做法合理麼?

田晗 反正只要跑到乙個大概的終點就可以了,一群人是一擁而上來的快,還是前後怕磕著碰著來的快呢?反正evaluation說話,數學上的嚴格,機器學習家都是糊弄糊弄能說得過去就行。 T mac 答 十分合理 原因 1.高效是word2vec 的乙個特色,如果加鎖的話,效率必然降低。2.加鎖之後雖然能從理...

你刷知乎是用碎片化時間嗎?

豬豬很迷 工作中最重要的不是 如何 實現乙個特定的目標,而是 為什麼 設定這個目標 在確定目標之後,可以區分問題的優先順序,並且可以適當地分配和投資目標。你知道,你拖東西的時間越長,你擁有的能量越多,你的效率就越低。同時,因為你不斷思考它,它也會直接影響員工完成其他事情的效率。 123 在我構建的生...

這道題用座標變換該怎麼解

Xipan Xiao 以 為原點,任取角度的起點,在平面 上建立極座標系 則被積函式和角度無關 因為根據勾股定理 從而被積函式 積分範圍是 面積元是 從而結果就是 當 時 秋分丿 斜著的平面 或許可以想到把斜面 正過來 這樣處理的話會好一點。這樣就得重新確定三個正交基。取乙個基 未單位化 這個基便是...