傳統機器學習如svm和深度學習的根本區別是什麼?

時間 2021-05-12 00:00:31

1樓:AI落地工程師

機器學習有感知機、統計學習、神經網路等方向,其中深度學習屬於神經網路分支。傳統機器學習方法,比如SVM,一般需要人工設計訓練所需的特徵,當然深度學習網路的featuremap也可以作為SVM的訓練特徵。深度學習主要靠深層神經網路來自動學習特徵,然後採用傳統機器學習進行分類,或者其他分類方式分類。

2樓:林高遠

剛好我在碩士論文裡寫過,這邊直接複製貼上,僅稍作格式修改:

乙個典型的辨識系統可以分為「特徵擷取」與「辨識模型」兩大部分,擷取何種特徵往往由人工定義,只有辨識模型的訓練上較為自動化。但近年興起的「深度學習(Deep Learning)」已經不再強調由人工高度干涉的特徵選擇,而是對資料做適度的強化與降低維度後,交由機器自動學習特徵, 讓電腦在人類所不能及的大量與快速運算中,發現資料裡難以察覺得抽象關聯。 相較特徵學習(Feature Learning),由人工定義的特徵雖然被侷限在較具體的關聯上,高度依賴對辨識目標的相關知識,但仍有容易理解、容易重現、 資料維度低等優點。

3樓:皓波

任何模型的選擇離不開Inductive Bias,歸納偏置選擇的好壞,通常是直接影響學習的效果的。

傳統機器學習模型的Inductive Bias更多來自於一些統計性質,比如線性回歸的 ,或者像SVM的Large Margin假設這種比較直觀的偏好。

然而,深度學習可以用一些經驗性的結構,在設計模型的時候就表達這種Inductive Bias。比如CNN之於影象,RNN/Transformer之於文字/音訊,這些結構已經用大量經驗性的結果證明了適用於具有某些特殊結構的資料。

如果DNN看成乙個特徵抽取器的話,相當於我們在用某種比較Empirical的方式選擇Linear Classifier的Kernel Function, 。

近年的一些NTK理論其實也表明無限寬網路在無訓練or有訓練情況下都等價於某個Kernel。

有哪個機器學習模型能夠根據輸入資料的不同,像DNN一樣直接表達我們的Inductive Bias呢?

這就是DNN的魔力吧。

哦對了,甚至還有NAS這種直接搜尋最優結構(Learning Inductive Bias)的東西存在呢。

4樓:AllanKwok

1.深度學習自動學習特徵,傳統機器學習人工提取特徵。

2.深度學習之所以叫"深"度學習,是因為其與傳統淺層機器學習相比,卷積神經網路具有多層結構,通過卷積模組+非線性對映等操作將特徵從具體逐步變得抽象,進而獲得更加精確地特徵表達,這也導致深度學習一般需要大量資料,而傳統機器學習對於資料量的要求要小一些,所以現在深度學習領域中的少樣本學習和零樣本學習成為很重要的趨勢,也是目前研究熱點和難點。

5樓:永無止境

其他回答都已經講得差不多了,補充一點特殊的理解:相較於SVM,深度學習的演算法結構可以更加靈活。凡是可微分的算術過程,都可以加入到深度學習的網路結構中。

例如,降噪演算法常用的軟閾值化,是可微分的。將軟閾值化嵌入經典的殘差網路,就得到了適用於強噪資料的深度殘差收縮網路

[1][2]。而且,這種結構可以進行端對端的訓練。

這是以SVM為代表的傳統機器學習演算法所不具備的功能。

深度殘差收縮網路

6樓:Bravo Huang

一般而言,區別在於它們獲取表徵的方式不同。

深度學習一般是端到端的,可歸為表徵學習。而SVM通常需要依靠手工選取並處理好特徵。

7樓:零天

svm本質上還是「淺度學習」,不帶核函式的svm只能線性分類。帶核函式也本質上是把線性不可分問題對映到乙個可分問題上,本質還是線性分類。然而這個對映函式的構造並不容易,多數問題即使對映到高維它還是線性不可分。

svm本質上只有一層,所以是「淺度學習」。

8樓:余世傑

個人理解,就是特徵的選擇,傳統機器學習需要人類自己設計特徵來最小化損失函式,而深度學習是由程式去設計特徵。

所以之前的識別啊檢測進步很大情況依賴於人工設計的特徵的好壞,是否真的反映出特性、區分度。

學習python和機器學習演算法,深度學習演算法就是學不會,心情很壓抑怎麼辦?

陽光 不知道你多大年齡,阿姨我今年快48了,去年開始學習機器學習,深度學習,也經歷很多燒腦的日子,但是要相信自己,多去網上搜尋,書讀百遍其意自現,死磕到底,沒什麼學不會的,想想又不是讓你造原子彈 我執 看到這個題目我頓時會心一笑,彷彿見到了過去的自己.回答分割線 我想題主應該是想問怎麼快速的學習演算...

深度學習系統相比較傳統的機器學習系統,針對常見的分類問題,精度究竟能有多大提公升?

個人覺得機器學習演算法和深度學習演算法各有優劣,人類的智慧型到這個程度應該是兩者的能力都有具備的,有乙個平台實踐比較好,據說有乙個BOT大賽,還可以領取udacity的優惠券, 已登出 同意xgboost,簡單快捷。我猜直接套演算法能提高到85 也就幾個小時就能出結果。要用deeplearning時...

學深度學習有沒必要把傳統機器學習演算法原理都學一遍?

沒有必要。推薦使用deep learning for computer vision with python,一本書完成從入門到精通。即使少量地方需要ml的知識,臨時補都可以。各個學科有交叉的時候,只需要補充交叉部分,多了的不要去管,快速達成目標最重要。即使就業導向,需要補ml以應對面試,那也與dl...