機器學習中的logistic regression的sigmoid函式如何解釋?為啥要用它?

時間 2021-05-30 01:56:08

1樓:壯哉我賈詡文和

為什麼要對對數機率進行建模?為什麼選用Sigmoid函式作為聯絡函式(link function)?

壯哉我賈詡文和:Logistic 回歸(對數機率回歸)直觀理解

回頭再補一下。

2樓:小周周的爸爸

1. 機率服從 1/(1+e^f(x))形式

2. 類的條件分布服從指數族分布則 f(x) 可以表達成線性。

所以用sigmoid 有乙個前提假設:類的條件概率分布服從指數分布。當然指數族分布確實很多場景能擬合大部分資料。

3樓:seu1tyz

今天晚上在下了雪的圖書館裡面終於搞懂了這個問題,先看一下這個部落格鏈結。

機器學習演算法之:指數族分布與廣義線性模型 - CSDN部落格

它是在伯努利分布和廣義線性模型的假設下推導而來的,邏輯回歸也自然是一種廣義線性模型,也就是說邏輯回歸一開始給出來的這個很強的假設是有理論推導依據的。

4樓:崔向陽

可以從這個角度理解,現在我們打算處理乙個二分類的任務,假設取正類的概率為p,那麼對乙個輸入,觀察p / (1-p)就可以得出它更可能屬於正類還是負類

用乙個線性函式z去擬合p / (1-p)這個機率(odds),即z = p / (1-p)

那麼推導得p = 1 / (1 + z^(-1) ), 這是乙個可怕的分段函式,並且可以看出它的形狀跟我們的問題沒有什麼直接關係。理想情況下,p最好是取值0到1的乙個單調連續函式。

而現在正好有乙個這樣的S型的sigmoid函式p = 1 / (1 + e^(-z) ),使得z = ln (p / (1-p) )

所以使用sigmoid函式的原因,應該就是它的性質很好,正好在這裡對我們有用

5樓:李文哲

sigmoid函式特徵決定logistic regression和 linear classifier有同樣的decision boundary (或者也可以說logistic regression 是 linear classifier). 不同的是它會輸出概率。

如何理解機器學習中的 regularization (正則化)?

zhao 先占個坑寫個快捷簡短的。intuitional角度 L2norm懲罰太大的weight W,讓很多W處於很弱的狀態,這相當於降低了模型複雜度。統計角度,不少前面的答案提到了Gaussian先驗分布,是這麼個事兒。統計目的是找到合適的W,使得posterior概率最大化,用人話說就是 給定資...

機器學習中Inference 和predict的區別是什麼

我是水 例句記錄。1 Skip Thought VectorsThe paragraph vector of 7 is an alternative to the above models in that it can learn unsupervised sentence representati...

怎樣消除機器學習中的過度擬合?

大器不早成 在網上找別人的,我做了總結,以下 1 1 樣本資料的問題 A.樣本數量太少,資料不規範 B.抽樣方法錯誤,抽出的樣本資料不能有效足夠代表業務邏輯或業務場景。比如樣本符合正態分佈,卻按均分分布抽樣,或者樣本資料不能代表整體資料的分布 C.樣本裡的噪音資料干擾過大 2 模型問題 A.模型複雜...