Unet神經網路為什麼會在醫學影象分割表現好?

時間 2021-05-07 02:34:05

1樓:jacob benseal

對醫學影象不太懂,但跨層鏈結會對小感受野有更好的特徵提取效果吧。

對ocr分割效果也不錯,ocr中的實體都比較小,可能醫學影象也這樣吧

2樓:日本寶刀

U-net這東西我用過兩次,一次是用fcn做saliency detection,他的特別之處在於結合低層特徵和高層特徵,讓網路在做prediction的時候「考慮更多」。這不是新鮮的東西,lstm之父就提出過skip connection。

不過後來我做image2image,用unet的結果很差,最終用的是cyclegan的resnet版本。

最近看到有做people reid的人,在unet的倒數第二層連線原始影象,做synthesis,夠暴力的.....

3樓:張良懷

根據UNet的結構,它能夠結合底層和高層的資訊。

底層(深層)資訊:經過多次下取樣後的低解析度資訊。能夠提供分割目標在整個影象中上下文語義資訊,可理解為反應目標和它的環境之間關係的特徵。

這個特徵有助於物體的類別判斷(所以分類問題通常只需要低解析度/深層資訊,不涉及多尺度融合)

高層(淺層)資訊:經過concatenate操作從encoder直接傳遞到同高度decoder上的高解析度資訊。能夠為分割提供更加精細的特徵,如梯度等。

為什麼適用於醫學影象?

(1)因為醫學影象邊界模糊、梯度複雜,需要較多的高解析度資訊。高解析度用於精準分割。

(2)人體內部結構相對固定,分割目標在人體影象中的分布很具有規律,語義簡單明確,低解析度資訊能夠提供這一資訊,用於目標物體的識別。

UNet結合了低解析度資訊(提供物體類別識別依據)和高解析度資訊(提供精準分割定位依據),完美適用於醫學影象分割。

4樓:深度學習雜談

我來說個不一樣的,它有up-conv的操作,這說明是個auto encoder的架構,有點像全連線自變碼器可以新增或去除噪音。這個cnn的自變碼器學了區域性特徵然後壓縮,再解壓縮,最後獲得邊界識別能力(把非邊界的內容當成噪音抹掉了)

5樓:蘇正航

醫學影象做得不多,就Unet談一點個人實驗,Small MobileNetV1/V2在Unet結構下結合dice loss下基本對2種類別的語義分割能達到很amazing的效果。1MB-3MB甚至更加小的網路,相比於大網路Vgg、ResNet等來說,特徵提取的bottleneck很弱,因此希望小網路也能達到大網路的效果,Unet結構可以更好地融合高低層特徵,恢復精細邊緣(獲取先驗。。)

6樓:dalle

不只是醫學影象啊,自然影象分割用unet也能取得非常好的效果。

搞過kaggle語義分割的比賽carvana。感覺最好用的還是unet,其次linknet和提拉公尺蘇也好用。large kernel也不錯,反而pspnet,deeplab v3之類在pascal voc排前幾的網路反而效果不好。

7樓:

已經有很多U-Net-Like的神經網路被提出。

U-Net適用於醫學影象分割、自然影象生成。

在醫學影象分割表現好:

1、因為利用了底層的特徵(同解析度級聯)改善上取樣的資訊不足。

2、醫學影象資料一般較少,底層的特徵其實很重要。

其劣勢:

通常要隨機初始化,從頭開始訓練。當然,在2D和3D方面均可以通過遷移學習,拿VGG-Net或者C3D的權重進行權重初始化,對這個問題進行解決。或者採用COCO等分割資料,進行預訓練。

8樓:雲雀恭彌

謝樓上老哥的回答,unet,Vnet這種在醫學影像分割上常用的網路,都是下取樣和上取樣結合,底層資訊和高層資訊結合,顯著提高分割的精度。因此我覺得我提的這個問題,另一方面還需要考慮影象的特點,為什麼醫學影象需要不斷結合底層資訊才能達到很好的分割效果?醫學影象相比於普通影象,其複雜度是非常高的,灰度範圍大,邊界不清晰等特點,也決定了它需要unet這種網路結構。

才疏學淺,寫了點自己的理解,希望有大牛能給出更好的回答

9樓:Wheeler

我以前幫別人解決乙個醫療影象分割的時候,自然而然就設計成了Unet的樣子,反倒是Unet後來才聽說。因為這種結構能夠同時結合高解析度的區域性資訊,和低解析度更大面積的資訊,綜合起來才能得到更高的準確率。

RBF神經網路和BP神經網路有什麼區別?

DomainAdaptation 1,從模型結構上來看 RBF神經網路從圖形結構上來說,就是一種單隱層的神經網路.這個隱層的每個神經元輸出的是乙個RBF函式的值,這些RBF函式的核寬都是一樣的,它們中心要麼是每個訓練樣本點,要麼是訓練樣本點的聚類中心,當然還可以有其他。核化的支援向量機就可以看成是一...

神經網路是萬能的嗎?有了神經網路為什麼還要學習其他演算法?

臥聽清風 理解到你說的演算法應該指的是用於影象識別,大資料分析,資料分類等相關的演算法。但演算法的定義遠不止此,比如資料儲存的資料結構設計,排序等,這些基本的方法是提高程式效率的基礎。這些演算法顯然目前深度學習是無法代替的。而對於具體的問題。比如影象識別,資料分類等,神經網路確實以其良好的效果,得到...

神經網路中的label smooth為什麼沒有火?

寶圖2borne 因為簡單,所以好實現,因為好實現,所以能看到效果改變,效果在大部分場景下不提公升,就很難火了。能火還是萬金油類的東西比較容易火 感謝各位大佬的回答 這裡補乙個很簡單的實現,方便大家參考 deflabel smoothing inputs epsilon 0.1 inputs 3d ...