Resnet對於深度學習的意義是否可比牛頓力學對於物理學的意義?

時間 2021-05-11 22:33:33

1樓:Abioy

kaiming he好像是廣東03年高考狀元,執信中學的,很牛啊。resnet執行效果好,然而跟牛頓的比?!!離子計算機都差得遠,別說dl的一種model。

2樓:[已重置]

直觀上這個問題類似於分解乙個矩陣的指數函式,即對於乙個普通CNN的一層操作U, 我們將其看作U=e^H=I + H + H^2/2!+....,ResNet就是用多個H『折線』來擬合U曲線, 而使用兩層或者更多層去逼近,乙個是增加擬合U的折線的數目,乙個是擬合的時候使用高階項,H^2,.

H^3...,定性上就是如此。

3樓:張平平

resnet還是有很多問題沒有解釋清楚,比如1)既然想讓每個res moudle 的主路徑學習乙個恒同對映,為什麼要用兩層(res-34)甚至更多層的卷積(res-50,101,152,1202)去逼近,而不是乙個簡單的卷積 2)記憶體的消耗也是很大的,做測試的時候的時間也是個問題。遠不如淺層網路來的快。現實中應該不會選擇為了提高3%的top-5 而讓測試的時間變為原來的好幾倍,特別是有實時性要求的任務(當然你非要說我提高硬體的計算能力,那我也呵呵了)。

3)由於層數的增多,對每一層的feature maps的特性也就不好說出具體的作用是什麼了,這也是想利用某一層的特徵的難處所在(幾百到1000層裡面選出對自己的任務有貢獻的層也不是件容易的事情)

4樓:

大哥,就是發明neural network或者deep learning一千次也沒法和牛頓力學相比吧,更別提resnet了服了~

深度學習方向,實驗室私有的資料集有什麼意義嗎?用一些公開的資料集不是更有說服力嗎?

wonderful 公開資料集是用來展示實力的,私有資料集是用來應用的。比如一家公司,你可以在公開資料集上刷榜來展示實力,吸引客戶。畢竟不了解你實力的時候,就看你的刷榜能力。具體到某個專案落地的話,基本都是用私有資料集了。公開資料集的場景太有限了,和實際應用場景會相差很多。專業的客戶都會在應用場景中...

對於學習及科研來說,保持好奇具有怎樣的意義?

Yuanxy 非常有意義。只有保持好奇心,才能有興趣不斷學習和鑽研,才能在艱苦的學習和科研中感到快樂,而這是持之以恆做好這些事情的基礎。 高立憲 保持好奇就是保持了學習及搞科研的興趣,興趣是最好的老師,興趣是進步的源動力,興趣是有天賦的起始。真的能保持好奇心,也就會天天向上,天天往深里鑽,天天享受到...

深度學習的原理是什麼

已重置 如果以CNN結構下的影象分類為例,那麼實際上滿足訓練目標的函式 從輸入資料點集到輸出點集的非線性對映 是不唯一的,這些函式的距離也並不一定是互為鄰域,所以這個學習過程是可以抽象為通過梯度優化尋找一條具有特定長度的曲線,使得曲線連線函式空間 將所有對映看作乙個流形 的乙個起始點到一組可能的終點...