skip connection的原理是什麼?為什麼U net中要用到skip connection

時間 2021-06-05 22:42:39

1樓:JunMa

前面四位答主從融合不同尺度、不同層次特徵等角度給出了解答。

拋磚引玉補充下,還有兩篇研究給出的結論是skip connection有助於深層網路訓練。

The Importance of Skip Connections in Biomedical Image Segmentation

Note: U-Net中的concatenate的skip connection不能消除gradient vanish.

實驗表明:concatenate和ResNet中add的skip connection都有助於提公升收斂速度。

小八卦:提到Dice loss,可能最先想到的是V-Net,其實上面這篇文章也提出了Dice loss (和V-Net中Dice loss的不同是分母沒有取平方),但是比V-Net晚了2個月掛到arxiv上。目前(20191209)的引用量是1300+ vs 200+.

Skip Connections Eliminate Singularities

2樓:akkaze-鄭安坤

上取樣不能恢復空間資訊,不能恢復解析度,這是資訊理論決定的,肯定不能恢復。但是分割又非常需要空間資訊,尤其是邊緣這些資訊,這些資訊都是高解析度下的高頻資訊,所以要用長跨層連線編碼器和解碼器,這樣能有更多高頻資訊被融合進來

akkaze:CNN真的需要下取樣(上取樣)嗎?

3樓:

研一的時候研究過U-Net,簡單說一下自己的理解,如有錯誤還望指正!

U-Net是一種典型的編碼-解碼結構,編碼器部分利用池化層進行逐級下取樣,解碼器部分利用反卷積進行逐級上取樣,原始輸入影象中的空間資訊與影象中的邊緣資訊會被逐漸恢復,由此,低解析度的特徵圖最終會被對映為畫素級的分割結果圖。而為了進一步彌補編碼階段下取樣丟失的資訊,在網路的編碼器與解碼器之間,U-Net演算法利用Concat拼接層來融合兩個過程中對應位置上的特徵圖,使得解碼器在進行上取樣時能夠獲取到更多的高解析度資訊,進而更完善地恢復原始影象中的細節資訊,提高分割精度。

而增加了skip connection結構的U-Net,能夠使得網路在每一級的上取樣過程中,將編碼器對應位置的特徵圖在通道上進行融合。通過底層特徵與高層特徵的融合,網路能夠保留更多高層特徵圖蘊含的高解析度細節資訊,從而提高了影象分割精度。

我們也在U-Net上面做了一些工作。

我們在網路中引入鄰層特徵重建和跨層特徵重建增強層與層之間特徵資訊傳遞的同時,進一步對高層卷積特徵層中豐富的細節資訊進行了利用,從而最大化地提高了網路各層中的特徵資訊的利用率。

跨層特徵重建:跨層特徵重建模組建立在編碼器-解碼器結構的基礎上,旨在將語義資訊更豐富的高層卷積特徵層和低層卷積特徵進行融合。因為在網路傳播的過程中,隨著網路越來越深,相應特徵圖的感受野會越來越大,但是保留的細節資訊會越來越少,而對於語義分割任務,高層卷積所保留的豐富的細節資訊是非常有利用價值的,基於編碼器-解碼器對稱式的結構,。

憑藉跨層特徵重建模組,可以更大程度地保留高層卷積中的一些重要特徵資訊,有利於實現更精細的分割效果。

鄰層特徵重建:鄰層特徵重建是在整個網路中除主幹路之外的每一對具有相同尺寸特徵圖的相鄰卷積層之間搭建了支路,即利用Concat拼接層將上一層卷積與下一層卷積得到的特徵圖進行通道維度的拼接。Concat拼接完成後再回到網路主幹路,執行原有的計算並傳遞給下一層。

憑藉鄰層特徵重建模組,網路的整體結構變得更密集,網路中每一層都可以從其上一層的輸入中最大化地利用其之前所有層中的特徵資訊。

xiehousen/Dense-Unet

的的的的颯颯怕啦?

我建議你報警,你目前遇到的討債者不是十分狠,狠角色可是會私闖民宅把你們軟禁起來,還不會有機會給你報警,他們會慢慢折磨逼迫你還錢。 浮生寄舊夢 看你的描述你大姑姐就不是個正經過日子得樣子。之前還有過這種事兒,俗話說救急不救窮,她得逞一次。看著你們幫她兜底了,以後還會這樣,你們總不能總是給她擦屁股。所以...

離過婚的女的和頭婚的男的。

傾城 只要這個女的你認為可以,她也是好好跟你過的。你就應該好好過下去。父母總是帶著一些偏見來看她的。你們只要把你們自己日子過好了,別人自然也說不出什麼話。關鍵是你的立場要堅定!我覺得沒孩子也沒多大負擔呀。現在很多人戀愛的,同居的,跟結婚能有什麼區別,無非有一套這個手續而已。年齡也無所謂,只要談的到一...

抑鬱是生理的情緒的還是精神的社會的?

我去快樂星球了 都有吧比如我現在心情很不好難受沒有緣由的情緒低落我只能轉移注意力了在知乎上面寫寫回答 對了千萬不要一直讓自己沉浸在那個低迷的心情裡面不然你很久都得走不出來 最開始是心理,這種心理逐漸強化之後,生理就會有反應,食慾的大大降低或者偶爾暴飲暴食讓腸胃紊亂,生理出現問題後心理其實更糟糕,後期...