1樓：糯公尺團
模型的loss由兩部分構成，一部分是誤差項，反映了模型擬合的效果；另一部分就是正則項，反映了模型的複雜程度（模型越簡單越好，可以有效防止過擬合）。
誤差項可以有很多數學形式表示，但是模型的複雜度怎麼表示呢，其實就稱為正則項(模型越複雜，正則化值越大)，我理解一般情況下的單調增函式，是因為模型複雜度沒有明確的定義指標，只能近似去度量，反映大致情況。
常用的正則項有L1和L2。
你認為非0引數多的模型複雜，你就選L1，你認為引數波動大的模型複雜就選L2。
2樓：DayNight
正則化主要是為了解決過擬合的問題，如果正則化超引數越大，對引數的壓制就缺強，因此對於越複雜的模型，模型引數多，就需要更大的壓制
3樓：凱菜
這跟正則化的函式定義有關咯。首先是將模型的簡單與複雜對映成可量化的函式形式，例如線性函式，我們可以定義正則化為權重的平方和即：
這裡模型越複雜 -> 表示權重越多 -> L 越大 。
所以才說模型越複雜，正則化值越大。因為我們把模型的複雜程度用正則化來量化了。
之所以要這麼做，主要是為了遵循奧坎姆剃刀原理，讓優化朝著簡單模型的方向走，簡單的總是最好的。
L1,L2正則化中為什麼說「等高線與norm ball 首次相交的地方就是最優解
愛知識的lz 首先，搞清楚他們都是等值線，也就是說各自線上的值相等，至於相交時值是否相等不一定。其次，什麼是相同的，對於原損失函式 正則項，相交時，w1，w2的取值是相同的，這就是說正則化其實是加了約束，約束原誤差函式的w1，w2在正則化的範圍內。所以，當等值線相交時，說明有相同的w1，w2。下面解...
機器學習正則化中範數為什麼要定義成l1,l2等形式？
袁承興 對抗過擬合最有效的方法就是增加訓練資料的完備性，但它昂貴且有限。另一種思路是減小網路的規模，因為網路越大表達容量越大，但這樣可能會因為限制了模型的表達潛力而導致識別精度整體下降。所以才引入了正則化，正則化 Regularization 可以在原有的訓練資料，以及網路架構不縮減的情況下，有效避...
為什麼在SGD中使用L1正則化很難獲得稀疏性？
曹神仙 我覺得根本原因在於l1問題是凸問題而非強凸，有無窮多個解，即存在不止一種希疏模式。sgd會使得演算法在不同且效果一致的稀疏模式之間跳轉，最後導致失去稀叔性 市民王先生 先說L1正則化的原理。L1正則化所約簡的特徵，是那些和其他特徵共線性的，多餘的特徵。這就好比公司裡有兩個能力非常相似的員工，...