神經網路的訓練中要計算驗證集的損失函式嗎？

1樓：鄧冇

個人理解是驗證集的選取是用來挑選模型的，比如在比賽中，我現在訓練了10個模型，我怎麼確定哪個更好呢，就是通過驗證集。但是簡單切分訓練集和驗證集會使得訓練集的數量減少，這時可以考慮採用交叉驗證。

2樓：檸檬陳

我感覺驗證集的作用是乙個體驗當前訓練得到的model好壞的乙個「視覺化」指標。上面的答主也說了它的可以用來幫助調整lr之類的超參。不會進入loss優化bp之類的。。

如果也對驗證集的loss優化，它不就變成train了～～～

3樓：husencd

@王贇 Maigo @子不語的回答解釋的很清楚了．可以不計算驗證集上的loss，驗證集上的loss不會參與模型的訓練；不過，和validation accuracy一樣，可以通過觀察validation loss的下降趨勢來調整學習率和訓練輪數等超引數．

題主提到pytorch，pytorch裡面有乙個學習率調整策略：torch.optim.

lr_scheduler.ReduceLROnPlateau()，摘錄了部分文件如下：

class

ReduceLROnPlateau

(object

):"""Reduce learning rate when a metric has stopped improving.

Models often benefit from reducing the learning rate by a factor

of 2-10 once learning stagnates. This scheduler reads a metrics

quantity and if no improvement is seen for a 'patience' number

of epochs, the learning rate is reduced.

Example:

>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9)

>>> scheduler = ReduceLROnPlateau(optimizer, 'min')

>>> for epoch in range(10):

>>> train(...)

>>> val_loss = validate(...)

>>> # Note that step should be called after validate()

>>> scheduler.step(val_loss)

"""這裡可以通過計算validation loss，來自動地調整學習率．

4樓：王贇 Maigo

在訓練過程中需要用驗證集上的某個指標來調整學習率等引數，這個指標一般用驗證集上的準確率，此時不需要計算驗證集上的損失函式。但當驗證集不夠大的時候，準確率的波動可能太過劇烈，此時也可以用驗證集上的損失函式作為調整學習率等引數的指標。