svm 支援向量機 的訓練時用到了一些核函式 kernel function ,怎麼樣正確理解它們的作用

時間 2021-05-06 09:09:31

1樓:文兄

SVM推導到最後的拉格朗日對偶函式為,其中h(x)就是其他答案所說的把x對映到了高維空間,達到可分(否則原對偶函式應把h(x)換成x):

所以我們最後的判定函式表示式即為(可以解出來):

現在問題就來了,計算" eeimg="1"/>的成本很大,所有就有人想到了乙個好辦法就是找到乙個合適的函式K,使得

這樣我們只需計算" eeimg="1"/>即可,大大減少了計算複雜度,而這個K就是kernel function。然後kernel函式也不止乙個,比如:

參考書目:《The Elements of Statistical Learning》

2樓:VinerL

支援向量機優化的目標是乙個二次約束二次規劃,拉格朗日對偶以後目標函式的取值只與任意兩樣本的內積有關係。手機打不了公式。假設兩個3維樣本內積是5,現在我想構造高維樣本,比如任意兩變數的乘積作為新變數,即原始變數空間的二次式空間。

樣本就變成了6維。然而這個6維的樣本進去支援向量機後,其每一維是多少並不重要,我們需要的只是它與其他樣本的內積。也就是說,我們公升維的過成並不需要真的構造出更多特徵。

比如把3維樣本的內積5作平方,得到25,它就對應了另乙個高維變數空間上的內積。其實就是二次式空間。可以從數學上證明對原始變數空間內積的哪些操作實質上對應了另乙個變數空間上的內積

3樓:Mao Bravo

簡單來說呢就是通過一定的對映找到可以分割資料集的乙個超面。

具體可以看大神寫的部落格,裡面有乙個動態演示,個人覺得做得很棒:http://

blog.pluskid.org/?

p=685

4樓:

就以某ml start up面試題為例,給你平面四個點,組成平行四邊形,分黑白兩色,對角線同色,問用SVM可分麼?如果能,該怎麼做?

答案是kernel trick,對映到另乙個維度,就能把原本線性不可分的點變為可分,這樣就可以回到一般的SVM去做了。

SVM支援向量機詳解

是有點委屈的吧 我一直很想要乙個相機,跟爸媽說過很多次了 如今再跟父母提起,母親推拖著,讓我問父親 母親說現在家裡經濟情況不好,讓我再等等 她明明答應我一考完試就給我買的 我有點難過 我跟母親說我不想要了,這絕非賭氣的話 我怕我問父親之後,他會有經濟壓力,然後家裡又會有矛盾母親卻覺得我不懂事,我說這...

支援向量機(SVM)是什麼意思?

大家說的比較多的是經典的二分類或者多分類的SVM,我來簡單聊聊單類SVM One Class SVM,或OCSVM 這個演算法的名字第一眼看到會令人匪夷所思,既然SVM是用來做分類問題的,只有乙個類怎麼做分類?其實單類SVM回答了這樣乙個問題 某個點是否屬於這個類?一般來說,是用於做異常檢測 Out...

支援向量機 SVM 是否適合大規模資料?

Faith Shi 這個問題,可以分為兩點 1.支援向量機在大規模資料上是否能取得好的分類效果?2.支援向量機在大規模資料上進行訓練 測試 引數調優等一系列迭代運算的計算效率如否保證?關於第一點,支援向量機的求解通常借助於凸優化技術。針對於小規模資料集,支援向量機更容易抓住資料之間的特徵。如何提高效...