1樓：hsyoung
基本上是正常的，對於選擇了合適的loss function的情況下，loss曲線都會逐漸收斂，只是速度上會有差異。對於在訓練過程中引入驗證集後，loss有可能公升高，如果跑一遍（N個epoch之後）如果loss平均仍然很高，此時需要調整超引數，在原來已訓練好的網路的基礎上再跑一次訓練，直到再驗證集上的效能達到要求為止
2樓：明天不要賴床baby
訓練損失能下降說明你模型設計的沒有問題，但驗證損失曲線表明你的模型在訓練集上過擬合了，你可以對訓練集做些資料增強，或者減少模型複雜度。
3樓：菜雞不服
曲線正常。trainloss曲線整體呈下降趨勢，其中的波動點大概率是batchsize裡的影象問題，但是整體是下降的，而且也是挺正常的，波動不是太大。
4樓：畢閣棣
是正常的，training loss 下降只能說你的網路設計和cost func選擇沒有對backprop造成困擾（困擾是指如gradient varnishing、saturation等），而不代表你的val loss一定會下降，出行training loss下降，val loss先降後公升、一直波動都是有可能的，這和lr 及 lr schedular的選擇都是有關係的，也和資料集有一定關係。這兩者的關係沒有明確的指導性。
5樓：帶帶小師弟
沒什麼大問題。訓練集loss大體上還是在下降，驗證集看不太出來這種趨勢。可能有些過擬合的問題。不過迭代次數減少建議繼續進行觀察
神經網路的訓練中要計算驗證集的損失函式嗎？
鄧冇 個人理解是驗證集的選取是用來挑選模型的，比如在比賽中，我現在訓練了10個模型，我怎麼確定哪個更好呢，就是通過驗證集。但是簡單切分訓練集和驗證集會使得訓練集的數量減少，這時可以考慮採用交叉驗證。 檸檬陳 我感覺驗證集的作用是乙個體驗當前訓練得到的model好壞的乙個 視覺化 指標。上面的答主也說...
怎麼選取訓練神經網路時的Batch size
嚮往自由 乙個epoch，使用大batch，訓練時間更短 但收斂不一定比小batch好 解析為什麼同乙個epoch，小batch，收斂更快？原因 相同epoch，小batch的梯度迭代更加頻繁，更有可能找到最優解。因此，不是batch越大越好 做自己 我覺得和隨機性大小有關，批梯度下降本身屬於隨機優...
神經網路中訓練和推理有什麼區別？
tohnee 1.推斷 Inference 的網路權值已經固定下來，無後向傳播過程，因此可以 模型固定，可以對計算圖進行優化，還可以輸入輸出大小固定，可以做memory優化 注意 有乙個概念是fine tuning，即訓練好的模型繼續調優，只是在已有的模型做小的改動，本質上仍然是訓練 Trainin...