開發集 dev 最終需要合併到訓練集 train 中嗎?

時間 2021-06-01 14:22:26

1樓:吼吼

如果是在train set中抽取一部分作為dev set,那麼最後如果要考慮加入到dev set中重新train一遍,那麼這一遍是要在test set上early stopping嗎?所以我感覺沒必要加,但是要加也沒什麼可說的,那就重新train乙個好的model在測試集上取最好的效果的引數。

2樓:傑子

我理解這裡的dev就是指validation集。沒必要。說明如下:

dev集的一種功用是用於輔助超參的調優,如early stopping等,這種情況下dev其實是直接作用在訓練得到的模型上的,無需再度重新混合訓練;

dev集另一種功用是它承擔了評估模型效果的作用。比較典型的如有偏抽樣,在train和dev上採取同樣的有偏抽樣,評估模型本身泛化能力,在test上取無偏抽樣,評估模型實際效果,以及從有偏抽樣對映到無偏下的損益;另乙個常見場景是train和dev取同時期( in–time),test取不同時期( off–time)。以上例子中dev都是評估模型效能的,自然也不用重新混合後訓練了。

3樓:Mr.腦

對於一般的機器學習方法而言,驗證集用於選擇引數,引數選擇好後,用全部的訓練資料(訓練集+驗證集)訓練乙個模型作為最終的模型。

在DL中為什麼將資料集分為訓練集 開發集 測試集可以提高迭代效率

塞罕寶貝 在 deep learning 中我們通常追求的是最高效的求得收斂的最優解,在學術界可以通過提高模型複雜度,增加資料學習資料集規模,增加特徵工程複雜度等方法得到更廣泛意義的最優解。但是在工業界,公司追求的是roi投資回報率最大,那麼就要在最短學習時間,學習成本的前提下盡可能找到區域性最優解...

如何看待produce101日本最終集EP12?

不渡 豆 蓮蓮川西汐恩大平白巖這幾位沒什麼太大的懸念鐵定能出道的只是排名的問題 佐藤景瑚排名一直在出道組以外的居然出道了有點震驚 喜歡他的顏!感覺最後第三場公演蓮蓮那組沒有要他進了上原潤組是幸運的 最後小組贏了景瑚個人獲得了較高的名次如果一直留在蓮蓮那組耀眼的人太多不一定能被關注 木全翔也 出道時我...

如何評價《進擊的巨人最終季》第七集?

玖辭 毫無疑問,這是目前為止看的最爽的一集,打鬥場面燃爆了啊啊啊,但後面應該就是我比較喜歡的乙個人物要領盒飯了 不劇透是誰 還有,萊納最後的造型是真帥,有牆之巨人都樣子了。 White 真正體現動畫魅力和價值的一集!核心在於兩點,完美彌補了漫畫的語焉不詳 第一艾倫如何利用鄂之巨人來吃掉戰鎚巨人 第二...