1樓：星辰大海
殘差網路 + Squeeze-and-Excitation Network (SENet) + 軟閾值化 =深度殘差收縮網路。
首先，殘差網路（又稱深度殘差網路、深度殘差學習）是一種卷積神經網路。相較於普通的卷積神經網路，殘差網路採用了跨層恒等路徑，以減輕卷積神經網路的訓練難度。殘差網路的一種基本模組如圖所示：
殘差網路
然後，Squeeze-and-Excitation Network是一種非常經典的注意力機制下的深度學習方法。它可以通過乙個小型的子網路，自動學習得到一組權重，對特徵圖的各個通道進行加權。其含義在於，某些特徵通道是比較重要的，而另一些特徵通道是資訊冗餘的；那麼，我們就可以通過這種方式增強有用特徵通道、削弱冗餘特徵通道。
Squeeze-and-Excitation Network的一種基本模組如下圖所示：
Squeeze-and-Excitation Network
第三，軟閾值化是許多訊號降噪方法的核心步驟。它的用處是將絕對值低於某個閾值的特徵置為零，將其他的特徵也朝著零進行調整，也就是「收縮」。在這裡，閾值是乙個需要預先設定的引數，其取值大小對於降噪的結果有著直接的影響。
軟閾值化的輸入與輸出之間的關係如下圖所示：
軟閾值化
最後，深度殘差收縮網路的結構如下圖所示：
綜上，在軟閾值化的作用下，深度殘差收縮網路更適合強雜訊資料的特徵學習。同時，其閾值是借助Squeeze-and-Excitation Network自動設定的，不需要人工進行設定。
10分鐘看懂深度殘差收縮網路 - 翼下之峰 - 部落格園
2樓：curry
說乙個我自己了解的吧 ICLR2020的一篇融合了MixMatch GMM和傳統的神經網路，搭建兩個對等網路來處理雜訊標籤問題，效果挺好，應該算不上很優秀的，只是我覺得這個想法值得我自己做的方向借鑑～ 還有就是谷歌17年的工作了，MentorNet網路，也是做雜訊標籤的，借鑑課程學習的思想，融合了LSTM CNN等來訓練兩個子網路模組
深度學習的模型加速與模型裁剪方法
百事 跨網傳輸考慮安全性，速度,可管控的傳輸 簡單易用的跨網檔案安全交換系統，跨網檔案安全交換系統 Ftrans Ferry 以軟體系統為核心，無需複雜的環境支援，部署簡單，大幅減少IT人員日常維護工作量。使用介面一目了然，不改變使用者日常使用習慣，操作簡單，開箱即用，平滑建設跨網檔案交換體系。企業...
深度學習的模型並行是什麼原理？
劉留 把mini batch分割成micro batches GPipe Efficient Training of Giant Neural Networks using Pipeline Parallelism 說一下我工作的經驗，多GPU並行有兩種方式 一是資料的並行，二是模型的並行。通常第一...
訓練好的深度學習模型是怎麼部署的？
資料如琥珀 對於模型比較複雜，個數比較少的，一般會直接部署導docker 裡面。這種情況對於演算法工程師要求比較低，因為演算法基本都會打包docker。如果模型比較簡單，數量比較多，一般就是採用web service，開放API 介面。這種方式演算法組的參與度比較低，一般就是需要開發組介入。對他們來...