Linear SVM 和 LR 有什麼異同?

時間 2021-05-09 11:54:10

1樓:阿澤

相同:都是分類模型,本質都是在找最佳分類超平面;

都是判別式模型,判別式模型不關係資料是怎麼生成的,只關心資料之間的差別,然後用差別來簡單對給定的乙個資料進行分類;

都是監督學習演算法;

都可以增加不同的正則項。

異同:LR 是乙個統計的方法,SVM 是乙個幾何的方法;

SVM 的處理方法是只考慮 Support Vectors,也就是和分類最相關的少數點去學習分類器。而邏輯回歸通過非線性對映減小了離分類平面較遠的點的權重,相對提公升了與分類最相關的資料點的權重;

損失函式不同:LR 的損失函式是交叉熵,SVM 的損失函式是 HingeLoss,這兩個損失函式的目的都是增加對分類影響較大的資料點的權重,減少與分類關係較小的資料點的權重。對 HingeLoss 來說,其零區域對應的正是非支援向量的普通樣本,從而所有的普通樣本都不參與最終超平面的決定,這是支援向量機最大的優勢所在,對訓練樣本數目的依賴大減少,而且提高了訓練效率;

LR 是引數模型,SVM 是非引數模型,引數模型的前提是假設資料服從某一分布,該分布由一些引數確定(比如正太分布由均值和方差確定),在此基礎上構建的模型稱為引數模型;非引數模型對於總體的分布不做任何假設,只是知道總體是乙個隨機變數,其分布是存在的(分布中也可能存在引數),但是無法知道其分布的形式,更不知道分布的相關引數,只有在給定一些樣本的條件下,能夠依據非引數統計的方法進行推斷。所以 LR 受資料分布影響,尤其是樣本不均衡時影響很大,需要先做平衡,而 SVM 不直接依賴於分布;

LR 可以產生概率,SVM 不能;

LR 不依賴樣本之間的距離,SVM 是基於距離的;

LR 相對來說模型更簡單好理解,特別是大規模線性分類時平行計算比較方便。而 SVM 的理解和優化相對來說複雜一些,SVM 轉化為對偶問題後,分類只需要計算與少數幾個支援向量的距離,這個在進行複雜核函式計算時優勢很明顯,能夠大大簡化模型和計算;

SVM 的損失函式自帶正則(損失函式中的 1/2||w||^2),而 LR 需要另外新增正則項。

2樓:Miner帆

不僅是loss function不同,設計loss function的出發點就不一樣。

SVM的目標是使分割面到所有樣本的距離最大,約束條件是錯誤要小於一定的值(通過空間距離定義);

LR的目標是盡量少分錯(通過概率假設定義)。

3樓:

linear svm的decision boundry只受到部分點的影響,lr所有點都會影響,所以對於極端點來說,svm更穩健。在使用kenal方法後,LR對每個點都要計算內積,svm只需要對support vector計算,大大降低計算量。

4樓:追風少年

本節來自:LR與SVM的異同 - 止戰 - 部落格園,有刪改。支援向量機模型並不是嚴格意義上的判別式模型。

相同點:

1,LR和SVM都是分類演算法。

2,如果不考慮核函式,LR和SVM都是線性分類演算法,即分類決策面都是線性的。

3,LR和SVM都是監督學習演算法。

不同點:

1,本質上是其loss function不同。

2,支援向量機只考慮區域性的邊界線附近的點,而邏輯回歸考慮全域性(遠離的點對邊界線的確定也起作用)。

線性SVM不直接依賴於資料分布,分類平面不受一類點影響;LR則受所有資料點的影響,如果資料不同類別strongly unbalance,一般需要先對資料做balancing。

3,在解決非線性問題時,支援向量機採用核函式的機制,而LR通常不採用核函式的方法。

這個問題理解起來非常簡單。分類模型的結果就是計算決策面,模型訓練的過程就是決策面的計算過程。通過上面的第二點不同點可以了解,在計算決策麵時,SVM演算法裡只有少數幾個代表支援向量的樣本參與了計算,也就是只有少數幾個樣本需要參與核計算(即kernal machine解的係數是稀疏的)。

然而,LR演算法裡,每個樣本點都必須參與決策面的計算過程,也就是說,假設我們在LR裡也運用核函式的原理,那麼每個樣本點都必須參與核計算,這帶來的計算複雜度是相當高的。所以,在具體應用時,LR很少運用核函式機制。

4,線性SVM依賴資料表達的距離測度,所以需要對資料先做normalization,LR不受其影響。

5,SVM的損失函式就自帶正則!!!(損失函式中的1/2||w||^2項),這就是為什麼SVM是結構風險最小化演算法的原因!!!而LR必須另外在損失函式上新增正則項!!!

本節來自演算法比較-SVM和logistic回歸,該部落格裡有些寫的並不準確,具有參考價值。

在Andrew NG的課裡講到過:

1. 如果Feature的數量很大,跟樣本數量差不多,這時候選用LR或者是Linear Kernel的SVM

2. 如果Feature的數量比較小,樣本數量一般,不算大也不算小,選用SVM+Gaussian Kernel

3. 如果Feature的數量比較小,而樣本數量很多,需要手工新增一些feature變成第一種情況

5樓:馬驍

撇開優化演算法和正則項,我認為這個PPT((http://www.

cs.toronto.edu/~kswersk

y/wp-content/uploads/svm_vs_lr.pdf

6樓:萬萬沒想到

是不是還有LR一般是empirical risk minimization,而SVM 是structure risk minimization,從learning theory的角度考慮SRM對Bayesian Risk的逼近更好一點。

7樓:宋東東

題主問本質差別,最本質就是loss function不同。

「lr 和 svm本質不同在於loss function的不同,不過想想這幾乎對所有的單層模型都使用,lr的損失函式是 cross entropy loss, adaboost的損失函式是 expotional loss ,svm是hinge loss,常見的回歸模型通常用均方誤差 loss。」 摘自邏輯回歸(logistic regression)和支援向量機(SVM)的比較

「從目標函式來看,區別在於邏輯回歸採用的是logistical loss,svm採用的是hinge loss。」摘自SVM和logistic回歸分別在什麼情況下使用? - 知乎使用者的回答

有沒有Jmeter和LR之爭?

maninhill 根據 51Testing軟體測試網的調查報告,2009 年時僅 6 的受訪者採納 JMeter 工具。但是到 2019年,62 的受訪者採納 JMeter 作為效能測試工具,已經成為目前最主流的效能測試工具。除了效能測試以外,也有很大部分使用者在使用 JMeter 進行介面測試。...

攝影後期為什麼都用LR呢?用PS是否可以有一樣的處理效果呢?

哈次卡西 你們只在乎修圖面板乙個功能,然鵝 我常用的功能 因為從匯入,匯入色彩管理,加關鍵字,加星,色標,收藏,對資源管理資料夾進行管理,快捷整體修飾。修圖面板,控制lut,匯出,輸出銳化,匯出色彩管理,關聯郵件,水印管理製作印表機色彩管理,列印排版,列印銳化 製作簡單的藝術微噴畫冊,輸出畫冊等等全...

為什麼FPS裡鮮有發射 22lr彈藥的槍械?

AKinG47 在CS體系裡面,9公釐的GLOCK和MP5,TMP,P228,雙持貝雷塔92之流都基本打不動有甲的目標,45只是部分槍械 GO之前的MAC10,UMP 打不准。22的話,你說該設定多少槍放倒一人。CS體系裡面,打得快和打得猛你至少要佔一樣,這也是GO之前的CS總是那幾支常用槍的緣故。...