如何看待谷歌研究人員提出的卷積正則化方法 DropBlock ?

時間 2021-05-06 19:44:58

1樓:peter

dropout:隨機丟棄點,像降低解析度(下取樣)dropblock:選中乙個點後,連同周圍一起丟棄,像通過遮擋的方式進行資料增強

之前有過文章通過遮擋或randcrop的資料增強方式,提公升效能,這種提公升和dropblock的提公升應該會有重合的地方,尚未實驗

2樓:

問個問題:文章說7x7的block效果最好,但是ResNet最後乙個階段的feature map也是7x7的,意思是要把這個樣本都丟掉?

又讀了一遍,發現這個mask應該是per channel的,這就說得通了。

3樓:GD hao

既然理解是立足於語義,那麼cutout那樣各個層上通道上從一開始就使用相同的空間位置就可以了,為什麼使用不同通道、不同階段的mask反而顯得比cutout更抓眼球?

是實驗做的更詳細嗎?

還是說將語義缺失的部分分散開,能夠促進梯度的有效傳播?

4樓:

用 TensorFlow 實現了一下。

DHZS/tf-dropblock

感覺 DropBlock 還是比較靈活的,放在第一層可以起到資料增廣的作用,設定 block_size 與特徵圖一樣大時又可以用來隨機丟棄通道。

用 MNIST 簡單試驗了下,用 2000 個樣本訓練,測試集不變。使用 DropBlock 比 baseline 的準確率高 2% 左右。

5樓:ICOZ

看了幾個人答案,這個和hide and seek很像?

Hide-and-Seek: Forcing a Network to be Meticulous for Weakly-supervised Object and Action Localization

6樓:

在只使用RetinaNet框架 (one-stage detector),沒有引入Group Norm或者Sync Norm的情況下training from scratch的結果已經比fine-tuning from ImageNet要好了(雖然好的不多==),這跟DSOD中很多結論是一致的。而我記得Kaiming的group norm中training from scratch還是要比用pre-train的結果差一點,這也驗證了模型結構的重要性。

如何看待威斯康星大學研究人員發現大腦深處丘腦的「意識開關」?

陽洋 丘腦板核心也不算有什麼新意,板核心本身就是網狀結構上行啟用系統的一部分,中腦網狀結構不直接投射到皮層,先在丘腦換元後再從板核心出發瀰散投射到整個皮層。影響昏迷 覺醒本身就是網狀結構的功能,作為網狀結構在丘腦的延伸,板核心能喚醒再正常不過了。現在 意識開關 的新聞好像也太多了,整個網狀上行啟用系...

歐洲研究人員發現難以解釋的超光速現象,這個訊息可靠嗎?如果屬實,對物理理論可能會產生哪些影響?

不懂超光速怎樣被測量或觀察到的,但要是計算兩個背向運動的物體之間的距離與時間關係,是可以超光速的 然後,我必須非常謹慎。物理學理論需要修改,注意我說的是修改,不是推翻。未來的物理學理論,必須能包容現在的物理學。是將物理學的適用範圍擴大,而不是一巴掌全部拍死。因為物理學是實踐的科學,現在的物理學是經過...

為什麼從事尖端科研的研究人員仍然在使用計算機時代早期發明的語言?

科學匠人 一切都是因為成本 把老code改成C 研究人員要多花錢和時間招熟悉C 的研究人員,要多花錢 研究人員的薪水可能不如碼龍高,但是時間更加寶貴說研究人員懶的,都是外行 還有一句話,搞軟體的人自己常說,如無必要,勿增實體。有些人說fortran 沒法和cad 結合。無知,cad出現的時候c語言都...