1樓：
2023年了，我們的GNN研究還停留在拿來主義階段
要想做前沿，就要拋棄傳統DL那套Trick，做題家思維不自宮，很難作出讓別人刮目相看的工作
GNN能做的東西多了去了，我們除了Follow的benchmark，我連乙個像樣的GNN工作都沒見過。
2樓：小賴sqLai
dropout是個大招，用的好可以輕鬆把mobilenet v2和shufflenet v2都刷到74以上，即使是大網路也往往有0.5的提公升。只不過這個trick很多人可能都不知道或者沒摸索出來。
具體的使用方法，我最近正在寫文章，等年底再回來安利吧。
3樓：
問題不矛盾嗎？
總是會採用Dropout這種已經幾乎無人使用的trick？
總是採用，又說無人採用，你鬧哪樣啊
4樓：曹澤
dropout 是乙個泛用性trick吧。。。一般來說加了的performance很少會比不加的少，而且加起來也容易。。。
5樓：sakuraiii
有好幾篇文章裡提到GNN不能很深，否則會出現oversmooth的問題，但是通過dropout，skip connection可以緩解這個問題，使得網路可以加深到4、50層的樣子
6樓：KyleJin
首先，dropout用的還不少的，transformer，BERT都用dropout
其次，BN，layer norm在層數多的時候比較管用，但GNN一般就2-3層，效果並不明顯（我試過，兩層GCN，norm與否沒差）
好多人讚我，受寵若驚啊，就多說幾句吧。
GCN和CNN本質上是不太一樣的，如果我們這麼模擬
圖——影象
圖節點——畫素點
那麼，CNN學的是影象的feature，而GCN往往學的是圖節點（對應於畫素點）的feature。而正因此，我們學到的一定是「區域性」的表示，如果是全域性的話，GCN就不能表示節點了（所有都一樣了，表示啥節點）。
所以GCN不能做的很深，因為k層GCN會捲入k階鄰域的資訊。往往乙個圖的直徑只有不到10，也即，5層GCN就能卷遍全圖了，就失去意義了。
所以，GCN往往不需要應對梯度消失，只需要應對過擬合，所以dropout管用，batch norm往往不管用。
7樓：Cheng Li
有ResNet和BN以後用dropout的確實變少但是GCN沒有BN和ResNet類似的結構啊。。
還有如果不用BN的話DropOut還是可以用的吧。。
而且每年新的dropout方法還是有一些的。。
（怕說錯，要是說錯了就刪掉。。。）
為什麼傳統人工神經網路在多層網路裡面表現很差？目前火爆的深度學習如何克服這個問題？
鵪鶉蛋 以下都是個人見解 抽象的來說，例如人腦的淺層思考和深層思考，深層思考需要激發更多的神經，訊號傳輸了經過更多的synaptic junction 突觸 將物體抽象的特徵一層層抽象提取和訓練後，我們的得到的反饋資訊細節化，從而反饋結果更加準確。何謂deep，簡單地想，當然多的就是multilay...
神經網路是萬能的嗎？有了神經網路為什麼還要學習其他演算法？
臥聽清風 理解到你說的演算法應該指的是用於影象識別，大資料分析，資料分類等相關的演算法。但演算法的定義遠不止此，比如資料儲存的資料結構設計，排序等，這些基本的方法是提高程式效率的基礎。這些演算法顯然目前深度學習是無法代替的。而對於具體的問題。比如影象識別，資料分類等，神經網路確實以其良好的效果，得到...
神經網路中的label smooth為什麼沒有火？
寶圖2borne 因為簡單，所以好實現，因為好實現，所以能看到效果改變，效果在大部分場景下不提公升，就很難火了。能火還是萬金油類的東西比較容易火 感謝各位大佬的回答 這裡補乙個很簡單的實現,方便大家參考 deflabel smoothing inputs epsilon 0.1 inputs 3d ...