相同的神經網路模型,採用相同資料集訓練,得到的權重引數是否相同?

時間 2021-05-06 07:16:08

1樓:WillAlex

不同的初始化權重,不同的優化器,最後學習得到的權重是不一樣的。但會有一些相似性,比如矩陣的秩,范叔,行列的相關係數等可能相似。

2樓:錢錢

取決於你的結構或者representation是否穩定。如果穩定,近似,參看Deep Ensemble這篇文章,大概核心含義是用不同的隨機數種子分別訓,最後合一下對prediction做uncertainty的判斷;如果不穩定,差別會很大。

3樓:2WaveTech

除了上面已有的回答外,我補充幾點。

1/ 超引數不同,訓練出來的權重幾乎肯定不同。

2/ 模型訓練時可能加入的其它隨機因素,比如Dropout,Ghost Batch Norm,miniBatch的選擇方式,當然還有上面提到過的權重隨機初始化(雖然這個是可以用相同的seed來重現實驗結果的),等等,它們對模型收斂至何處都有影響,導致訓練結果的不同。

反之,如果答案是"相同",那ensemble之類的方法都沒必要了,AutoML也多餘存在了,這顯然違背現實。

4樓:採石工

即使資料集和網路模型相同, 最終訓練得到的模型權重極大概率是不同的, 這是因為:

1) 資料方面

資料的預處理方式可能不一樣.

資料增強方式可能不一樣, 且資料增強具有一定的隨機性.

資料的訓練順序, 取樣方式可能不一樣.

2) 模型方面

模型引數的初始化方式和初始值可能不一樣.

模型中一些操作具有一定的隨機性 (如 dropout 等).

3) 訓練方面

訓練採用的優化器 (optimizer) 可能不一樣.

與訓練相關的一些超參或設定 (如 batch size, learning rate scheduler 等) 可能不一樣.

如果採用不同的訓練框架方式訓練, 框架在實現上的差異也會導致結果存在差異.

如果問相同的神經網路模型, 採用相同資料集訓練, 得到的權重引數是否具有相似性, 我猜是有的.

為何相同的資料集,相同的超參設定,模型訓練結果準確率相差很大?

今天周一天氣晴 問題補充,請大家幫忙看一下 1.資料集是提前整理好的,提前劃分好了訓練集和驗證集放在了不同的檔案裡面 2.該實驗是用乙個resnet18模型 學生模型 和少量資料,使用知識蒸餾損失,去逼近用大量資料訓練的另乙個resnet18模型 教師模型 兩個模型都能對100個類的樣本進行分類,教...

神經網路模型壓縮好就業嗎

鳳舞九天 模型最終部署還得靠算力更強的顯示卡,以及不斷得增加顯示卡資料,模型壓縮就是圖一樂。哈哈,上面開個玩笑。目前各個公司模型壓縮都會用到,包括開源的結構或者自己搞出來的結構,甚至nas。所以說方向沒什麼問題,還是看個人做到什麼程式。c 大家都知道,多少年了,誰要是說真的精通c 那真是無敵了。 鵬...

如何評價谷歌新推出的神經網路模型MultiModel?

Abakus 標題黨,封面殺手!神經網路圖林完備早就證明過了,只要網路足夠複雜,可以模擬任何模型 演算法。所以你搞個MultiModel不提時間空間複雜度,就是在耍流氓。 王晉東不在家 多工學習的整合學習版式,感覺是個標題黨,這麼搞下去真的好麼?我個人不看好。從大的角度講這算是個性化模型和統一模型的...