卷積神經網路中卷積核是如何學習到特徵的?

時間 2021-05-05 14:16:26

1樓:去太平洋游泳

在深度學習沒出來之前,cv方向早就有了卷積核的概念。卷積核的功能多種多樣,卷積核又叫濾波器。高通濾波器和低通濾波器用的也比較多。

實現的功能也不一樣,銳化鈍化,去噪,平滑。不過高通濾波器和低通濾波器卷積核的引數是固定的,提取的特徵也是單一的。後來深度學習出現了,有了自動提取特徵的功能。

主要的思想就是在網路中各個卷積層,定義多個卷積核。引數採用隨機初始化的方式。訓練的時候,網路會提取各式各樣的特徵,有的接近高通濾波,有的接近低通濾波。

反正就是混合起來。所以說,深度學習提取到的特徵比傳統機器學習方法手動提取的特徵更加豐富。

2樓:2ylw9

個人理解.卷積核不學習特徵,卷積核通過卷積引數處理輸入資料,生成輸出資料,輸出資料相對於輸入來說,稱之為特徵圖(影像)。如果說卷積核引數怎麼學習(確定)則是loss函式最小值下,做bp反向傳播,利用梯度下降的方法來確定最優卷積核引數。

3樓:Tridu

一般都會講是視網膜細胞群仿生設計的,但是我認為用它學習特徵的動因,可以來自那群搞《訊號與系統》的人,可以參考奧本海默那本。線性系統理論的基礎是將乙個系統與乙個脈衝進行卷積,在脈衝發生位置產生乙個這個函式的副本。

「卷積」類似「相關」操作:空間卷積核濾波即傅利葉後頻域的「乘法濾波器」。

至於為什麼他能「提取特徵,看下面這張圖劃線句子,那是因為「影象頻帶和影象特徵聯絡在一起」:

《數字影象處理》岡薩雷斯

準確地說,機器學習那個「filter對乘加」,應該叫做「相關操作」(相關是濾波器核相對於影象位移的函式,相關第乙個值對應核的零位移…),但是一般卷積核對稱的,而且這兩個操作本質都一樣,已經叫亂了就不區分了。

記得本科學過一門感測器的課,「相關操作」還能應用在感測器電流計中,測量電路損壞位置的距離資訊。

語音識別等也是「訊號處理」相關知識,「卷就完事兒了」,看過這張圖:

對了,CNN步長如果跳著走,我覺得還有降取樣的功能,應該是先找出那些有用影象頻帶資訊,再用這些頻帶進行「全連線層」去通用近似定理「擬合」出識別函式。

CNN既然源自視網膜細胞群的仿生設計,會不會我們人體也類似呢?

深度學習卷積神經網路優點

以下內容參考了Stacked convolutional auto encoders for hierarchical feature extraction,Jonathan Masci,Ueli Meier,Dan Ciresan,and J urgen Schmidhuber,2011 In v...

如何理解卷積神經網路(CNN)中的卷積和池化?

施念 我的理解 乙個個卷積核相當於對影象進行區域性特徵提取,從而產生不同的feature map,具體的,在滑動過程中,某pixel所在的卷積區域與卷積核相似 相關 程度大的得到的值越大。多層卷積相當於進行深層次 高維度,更抽象 的特徵提取。遲化層相當於對之前卷積提取到的每個feature map的...

CNN(卷積神經網路) RNN(迴圈神經網路) DNN(深度神經網路)的內部網路結構有什麼區別?

可可噠 寫一點個人理解吧。CNN 它是以 層 layer 為單位的,每一層的結構可以完全不一樣。常見的CNN層有卷積層 池化層 softmax層 池化層 這些基礎層之上還有諸如ResNet的遠連線,GoogLeNet的Inception層,用來實現一些特定的功能 深層網路 多尺度特徵提取等 RNN ...