卷積神經網路可以沒有池化層嗎?

時間 2021-05-05 14:23:26

1樓:ppXia

肯定可以啊,池化更像是一種被迫的選擇,拋棄了有可能是很重要的識別特徵。

1*1卷積核的出現就是學術界準備放棄池化層的選擇。

2樓:Ziaiyu

你要知道卷積只是乙個運算而已,卷積網路只是卷積組合起來的網路。網路怎麼組就看你自己。其實完全可以沒有,看你拿來幹嘛的。用於分類的7網路都會有,其他的不一定,像超解析度就不會用。

3樓:橙子

用Dynamic Routing替代。

見NIPS17 Dynamic Routing Between Capsules -- Sara Sabour, Nicholas Frosst, Geoffrey E. Hinton

4樓:小宋是呢

是可以的,首先了解一下池化層的作用,主要作用就是降維,同時平均池化可以提取背景資訊,最大池化可以提取紋理。

這些功能使用卷積也可以完成,只要設定好卷積核和步長。

用例項證明一下,谷歌的輕量級卷積MobileNet沒有使用池化操作。。

5樓:

it depends,有時候甚至不能使用pooling。

如果是傳統的影象處理問題,input具有非常穩定的local structure,那pooling可以起到降維提取特徵,降低模型複雜度的目的,此時一般採用pooling效果更好。但如果input的每個畫素都非常重要,舉個例子,比如基因組的acgt排列,稍微修改乙個畫素都有可能極大的影響結果,此時反而不能採用pooling。

6樓:獨享孤獨

可以沒有池化層,池化層的提出是因為針對一些任務比如影象分類經過池化後具有不變性,但是有些任務並不適用這個假設,比如Alpha Go下圍棋如果假如池化就會損失很多資訊,所以池化並不是一定要用的

7樓:JustDoItHeart

不可以,乙個最基本的CNN由乙個卷積層,乙個全連線層,乙個池化層構成。沒有池化層,池化層的作用是:特徵降維,壓縮資料和引數的數量,減小過擬合,同時提高模型的容錯性。

當網路沒有池化層了,圖形的特徵不明顯,可能識別不了影象的特徵資訊。

8樓:林軒

可以的。

池化(pooling)本質上是一種降取樣,池化的作用有兩個:1.減少引數和計算量 2.防止過擬合。

池化層讓資料量迅速變小,所以如果資料並不太大,那可以不用池化層。

9樓:爭氣的孩紙

答案是肯定的,可以沒有。最初認為池化層帶來三個好處,一是突出明顯特徵即在有雜訊情況下增強魯棒性,最大池化和均勻池化都可以這樣理解,二是降低網路的運算量,三是增加感受野,其實後來有很多證明池化效果並沒什麼卵用,完全可以用dialate 卷積和FCN解決,Hilton的膠囊網路也指出了池化的弊端,樓主可以看看

10樓:譚小風

更新。CNN肯定是可以沒有池化層的,這個沒有什麼問題。

更有價值的問題是:什麼時候不能使用池化層。

翻了翻《deep learning》。section 9.4 可以解釋這個問題。

9.4 Convolution and Pooling as an Infinitely Strong Prior

This infinitely strong prior says that the weights for one hidden unit must be identical to the weights of its neighbor, but shifted in space. The prior also says that the weights must be zero, except for in the small, spatially contiguous receptive field assigned to that hidden unit.

這種先驗實際上就是區域性連線。把CNN 理解成fully connected net,它是把全連線的部分數值強行置零,除了receptive field 內的一小部分非零。

This prior says that the function the layer should learn contains only local interactions and is equivariant to translation.

Likewise, the use of pooling is an infinitely strong prior that each unit should be invariant to small translations.

所以問題的實質是,在使用池化時,假設了small 平移不變性先驗。因為CNN 是基於以上先驗,所以當資料不符合以上先驗時會出現一些問題:

書中說了,在一些不符合先驗的資料上會導致欠擬合(很少在deep learning 裡聽到欠擬合)。如果需要「preserving precise spatial information」保留精確的空間資訊那麼pooling會導致欠擬合,訓練的準確率增加。還給了乙個例子,就是部分通道池化,部分通道不池化。

Szegedy, C., Liu, W., Jia, Y.

, Sermanet, P., Reed, S., Anguelov, D.

, Erhan, D., Vanhoucke,

V., and Rabinovich, A. (2014a). Going deeper with convolutions. Technical report,

arXiv:1409.4842.

可以。有的時候,不用pooling 效果更好。

這玩意兒,最大的作用還是降低feature map的尺寸。例如其他答主說的加大stride。

至於效果,很多時候真的都是試出來的。

11樓:劉冬煜

完全可以。

池化層最初是根據貓視覺細胞的C型細胞模擬實現的。目的是降取樣和容錯。但後來發現跨步卷積也可以實現這個過程。

於是出現了很多用strided convolution代替pooling的。

但為了實現支援任意長寬輸入,池化又是必不可少的(至少目前為止是這樣)。空間金字塔池化就是實現支援任意長寬輸入的唯一實現(所謂全卷積網路,可以看作空間金字塔池化層加在末層輸出層且塔高為1的特例)。

不過我相信池化層的存在還是有作用的。可能我們現在認為strided convolution能取代池化,但說不准未來會怎樣。

如何理解卷積神經網路(CNN)中的卷積和池化?

施念 我的理解 乙個個卷積核相當於對影象進行區域性特徵提取,從而產生不同的feature map,具體的,在滑動過程中,某pixel所在的卷積區域與卷積核相似 相關 程度大的得到的值越大。多層卷積相當於進行深層次 高維度,更抽象 的特徵提取。遲化層相當於對之前卷積提取到的每個feature map的...

電腦跑卷積神經網路 總是卡 有沒有比較好的解決方法?

黃纓寧 1.有錢方案 換電腦啊,遊戲gpu也行啊,gtx1080ti不算貴,攢一下3k買個二手可以的 2.沒錢方案 2.1 問室友借一下電腦,訓練的時候搞個分布式cpu小集群2.2 薅羊毛,使用谷歌的深度學習免費平台2.3 大家都有提到,batch再減小一點,不要一下子塞那麼多資料進記憶體 2.4 ...

學習人工智慧可以繞開神經網路嗎?

蒜葵 Artificial Intelligence Machine Learning Neural Network 神經網路只是乙個酷炫的子集,知道很好,跟隨潮流,完全不懂也一點問題沒有,只要自己的領域紮實。 Sciarter 先給出建議 可以不深究但是需要了解作為工具使用。我們需要知道神經網路不...