關於支援向量機的數學問題?

時間 2021-05-12 04:45:43

1樓:

高維想不通那我們就從低維開始想起,笛卡爾座標系中的直線可以表達為,這個方程的意思就是直線上任意一點都滿足條件,這裡的係數和決定直線的斜率(slope),也可以理解為方向,舉個實際點的例子直線,那麼它的方向向量可以是或者所有與之平行的向量,這條直線在座標系上的是和這個向量平行的,那麼與這個向量垂直的向量比如是與這條直線垂直的,也稱為這條直線的法向量,很容易看到這個法向量正好是與線性相關的。

其實也很容易理解這種「正好」。經過原點的直線表達的正好是這樣一種關係:向量和直線上任意一點與原點構成的向量都滿足垂直關係,而引數表示的只是在這個經過原點的直線的基礎上平移多少(改變截距),的值始終是乙個定值。

所以對於直線來說向量始終是乙個法向量。

還記得初中還是高中的分析幾何裡面學過的點P到直線l:的距離公式麼?也是距離公式的乙個具體化的例項。

常規理解的P到l的距離是通過P直接向l作垂線得到的,這裡不妨換個思路:以直線l上任意一點為起點到P的構成向量(這裡我取的直線上的點是原點,這個向量就是藍線標出的部分),在法向量上的投影長度(紅線)部分可以表示P到l的距離。至於為什麼能表示,這些詳細證明我不作論證了,這裡就推導一下這個思路算的距離公式:::

在上的投影長度:

又因為在直線l上所以滿足

如果到此為止的理解沒有問題那麼就可以從具體的二維平面擴充套件到超平面(hyperplane),SVM最終得到的是乙個分類函式:,對於有個特徵的向量來說,函式值的正負決定分類結果,那麼等式置0是乙個維空間裡面乙個維的超平面,函式中的係數構成改超平面的法向量,換個形式重寫一下函式就是(b為常數項,就是),那麼按照以上二維平面計算點到直線的距離的方法,再算一下這裡超平面外任意乙個點(向量)到超平面的距離:

(這裡借一張林軒田老師課件的圖,我實在太靈魂畫手了所以就不親自獻醜了)

超平面上任意一點為,滿足,到超平面的距離,也就是向量在法向量上的投影長度:

線性可分支援向量機 硬間隔 中支援向量的幾點疑問??

天哥的歌 岔個題,如果題主只是想深究這個技術問題,前面的回答沒問題。支援向量機在資料量特別小的時候可以用用。但在資料量大的情況,簡單粗暴的batch normalization 加深度神經網路就是利器。 AndyLee 是,理由和 mmggqq 提到的相同。因為是硬間隔,所以支援向量到超平面的距離一...

怎樣的數學問題叫乙個好問題?

xdra 可以參考一下陶哲軒寫的乙個雜文 WHAT IS GOOD MATHEMATICS?裡面從非常多的方面說了什麼叫好的數學。科普作家盧昌海翻譯成了中文版本什麼是好的數學? 涅凰 在我看來,乙個好的數學問題一定是乙個證明題,不論是證明還是證偽,都能在這個證明過程中產生新的思想或者理論或者分支。數...

乙個小的數學問題,如下

這個遊戲叫Nim,有必勝策略。在你的情況下,請按下面的攻略玩 1 我假設A君知此策略,所以你威逼利誘,爭取你先走。2 把每堆的石頭數目轉成二進位制。對於你的第一步,3,5,7轉為011,101,111。3 將二進位制每位加起來取尾數,不要進製,得到二進位制數字S。對於你的第一步,S 001。4 將每...