卷積神經網路如何應用於影象分割

時間 2021-05-06 14:29:39

1樓:Lighthouse

這是最早期的利用卷積網路作分割的思路,是可以的,但是實時性比較差。FCN是早期將卷積神經網路作分割的經典方法,隨後,各種各樣的分割網路都被提出,主要分為以下三種型別:

1 FCN-與淺層特徵相交加互

FCN有三個輸出分枝,FCN-32s是將特徵圖直接縮放至原圖大小;FCN-16s首先將FCN-32s特徵圖放大2倍,與上一層特徵相加後,再縮放至原圖大小;FCN-8s,是將FCN-16s特徵圖再放大2倍,與再上一層特徵相加後,再縮放至原圖大小。FCN後的數字代表縮放比例。FCN利用底層特徵提公升解析度,可應用於畫素級分割任務。

2 Encoder-Decoder-與淺層特徵無互動

在Encoder中,解析度不斷減少,channel數不斷增加,Decoder正好相反,最後輸出與原圖解析度相同影象分割結果。上圖是基本的編碼-解碼網路結構,編碼器與解碼器之間無資訊互動。

3 U-net-與淺層特徵相並互動

U-net其實也是一種Encoder-Decoder結構,但是Decoder中整合了Encoder的特徵,以減少卷積過程中的資訊損失。

利用卷積做分割的網路很多,但都或多或少利用了以上的網路架構

2樓:yulu

我也是好不容易搞懂了點,說是以圖塊中間的那個畫素點為目標,圖塊size自己定義,對應該畫素點的groundtruth是0還是1,也就是輸入乙個圖塊,輸出的判定是其中間畫素點是0還是1

3樓:WILL

樓主,你好,最近也是剛開始才學習DL,用它來做圖割,碰到了和你類似的問題。如果只是分割邊緣的話(分割出輪廓,其餘部分是黑的),好像分兩類就可以了。但是其他情況呢,比如語義分割,不知樓主有沒有新的見解,希望可以多多交流,萬分感謝!

4樓:Young Well

8*8的小塊往往不能貼合邊緣,可以考慮使用superpixel,推薦SLIC。。。其實你的這個想法,很類似於視覺顯著性的概念,可以去參考一下近幾年的saliency detection的文章,應該可以很大程度上解決你的問題。。。

嗯,推薦一篇文章Saliency Detection via Graph-Based Manifold Ranking

5樓:

卷積神經網路影象處理卷積時,為啥要旋轉180 ?

Feynman 問題中不太準確,糾正如下 卷積神經網路影象處理卷積時,沒有旋轉180度。數學上的卷積,比如訊號處理 傳統影象處理,處理卷積時,才旋轉180度。這個問題在https www.zhihu.com question 52237725 answer 545340892有非常詳細的解釋,我這裡...

用卷積神經神經網路做遙感影象分類,需要對影象做哪些預處理?

檸檬陳 對地物資訊分類。那我感覺你這個問題有點像影象語義分割啊。emmm.真按分割做的話好像難度係數太大。我之前有做過簡單的遙感影象語義分割。但是題主你的描述,感覺問題更複雜些。好吧回到你的問題 先做個預處理,去噪,把img的直方圖畫出來,看看雜訊,看看pixel value分布啥的。有條件的話,做...

Unet神經網路為什麼會在醫學影象分割表現好?

jacob benseal 對醫學影象不太懂,但跨層鏈結會對小感受野有更好的特徵提取效果吧。對ocr分割效果也不錯,ocr中的實體都比較小,可能醫學影象也這樣吧 日本寶刀 U net這東西我用過兩次,一次是用fcn做saliency detection,他的特別之處在於結合低層特徵和高層特徵,讓網路...