乙個神經網路可以有兩個損失函式嗎

時間 2021-05-12 06:23:53

1樓:

可以首先,兩個loss加起來可以。

其次分開的話,乙個跑一跑,另乙個跑一跑也成。想想有兩個空間低窪地群,一下往這跑跑一會那兒跑跑,還是能跑到乙個相對兩個空間都是低窪地的地方。不過有時候可能需要一些指導。

2樓:Dylan

這裡要區分是嚴格多目標還是弱多目標

你說的多個損失加權這種,就是弱多目標,多個目標都有考慮,但對於模型優化來說就是乙個目標。你說的兩個loss交替優化,本質還是融合了,你可以認為是0.5 0.5加權

再說嚴格多目標,這個不存在的!同一組引數,不可能同時往兩個方向優化實際應用中,本質都是弱多目標,融合尋找乙個權衡。而弱多目標可以work的隱含假設是,多個目標存在不低的相關性,不可忽視

3樓:

多工學習就是允許多個損失的,不過會加權組合在一起,一併更新梯度。其實這等價於每個損失去更新梯度。

召回率和精確率,都要好,似乎採用級聯思想吧。

4樓:XBCoder

首先GAN中,生成器和判別器兩個分別對應乙個loss函式,所以也就是乙個模型乙個loss。

然後看你的想法,乙個模型能不能有多個loss,輪流訓練,可以是可以,但是你把你這幾個loss加起來作為乙個總的loss,在反向傳播時一次性更新,其實就相當於同時用這幾個loss訓練更新了網路,所以不用乙個乙個來。

神經網路中的dropout策略是乙個演算法嗎?還是將它看成乙個常數?

數學優先 綜合而言,上述過程可以分步驟為 將輸入通過修改後的網路進行前向傳播,然後將誤差通過修改後的網路進行反向傳播 對於另外一批的訓練樣本,重複上述操作1.從Hinton的原文以及後續的大量實驗論證發現,dropout可以比較有效地減輕過擬合的發生,一定程度上達到了正則化的效果。論其原因而言,主要...

我自己寫了乙個神經網路引數的搜尋演算法,請問有發表價值嗎?

MisT大野兔 高中做過類似的探索。前面有答主提到neat了,當時是嘗試基於neat訓練下9x9圍棋的模型。失敗告終,理由我分析主要在於1.解空間過大 2.ga的早熟問題被放大從而難以解決 我們知道ga搜尋解空間靠的是兩個運算元 交叉和突變。neat的工作主要就是設計了一種帶歷史標記的網路結構編碼方...

神經網路是不是本質上就是乙個力學問題

周強 應該不是乙個力學問題,但或許真的蘊含了某種幾何。深度學習的成功是基於兩個資料分布規律 1.流形分布定律 自然界中同一類別的高維資料,往往集中在某個低維流形附近。2.聚類分布定律 這一類別中不同的子類對應著流形上的不同概率分布,這些分布之間的距離大到足夠將這些子類區分。文章基於這兩個規律,將深度...