為什麼機器學習的分類器用logistic模型?

時間 2021-05-12 15:20:11

1樓:

感覺 @午後Sunny 說得很好了,補充一下自己的觀點,如果不對請指正Logisticfunction

(a) 很優美。

這個函式不但能把輸入對映到0-1之間,而且這種中間陡峭的性質使得只有少數樣本在0附近。

(b) 便於求導

這樣使得模型的求解和實現更加方便

2樓:午後陽光

把我另外乙個回答搬過來了。

logistic這個奇葩函式不是YY出來的,主要還是假設sample服從伯努利分布,最大化log likelihood函式(對其求導)後推到出的假設函式。具體推倒過程請參考http://

cs229.stanford.edu/notes/cs229-notes1.pdf

3樓:Shu Matt

上面的人解釋過了,就是要找個函式,把線性模型的負無窮到正無窮輸出對映到0-1上。

為何要採用logistic sigmoid來對映?有個簡單的解釋:

定義a為:

分類1的likelihood乘先驗概率,比上分類2的likelihood乘先驗概率,比完之後再求對數。(為啥要求對數?這畢竟是個比值嘛,求對數是很正常的思路)

則分類1的後驗概率就是sigmoid(a)如下圖(來自PRML)

4樓:

線性回歸擬合的是輸出,logistic擬合的是概率,線性回歸輸出可以是負無窮到正無窮,但是概率只能是0~1,所以要加歸一化的sigmoid。

機器學習中常見的線性分類器有哪些?

梵為科技 機器學習中常用的線性分類器和非線性分類器知識了解 線性分類器有感知機,LDA,邏輯斯蒂回歸,SVM 線性核 它的模型是引數的線性函式,分類平面是 超 平面 非線性分類器有樸素貝葉斯,KNN,決策樹,SVM 非線性核 它的模型分介面可以是曲面或者超平面的組合 兩者區別 線性linear指量與...

為什麼機器學習常常使用貓的影象?

APP開發經理MR.Yu 用貓的原因可能一部分是因為程式猿是貓奴,另一部分就是貓的種類並不好辨別,一次產一窩,可能各個都不一樣,還有的貓會變色 暹羅貓 可能夏天是白色,冬天就是黑色。手動狗頭 APP開發經理MR.Yu 用貓的原因可能一部分是因為程式猿是貓奴,另一部分就是貓的種類並不好辨別,一次產一窩...

稀疏性為什麼會影響機器學習的計算效率?

雲外陽光 例1 若規定解有規則約束,當沒有稀疏性,x1 x2 x3 x4 x5 10,你算一下,解會有幾種組合,複雜度多少。存在稀疏性,假設x1 0,x2 0,x3 0,你算一下 x4 x5 10,解會有幾種組合,複雜度多少。例2 患某種病的概率是y,然後我們收集到的資料x是1000維的,也就是我們...