機器學習 測試集正確率越高就代表這個模型越好嗎?

時間 2021-05-08 22:39:44

1樓:AI教育科普

在實際的專案中實現的精度要求越高,其實所付出的成本也越高,要綜合考慮價效比,值不值得,為了把精度調高而增加大量的資料處理成本,比如說採集資料標註資料所花費的人工成本要遠遠高於低精度的要求,而低精度呢未必不能實現使用者的需求,如果能實現使用者的需求的話,就不是精度越高越好了,就以新冠疫苗為例,只要有效性達到50%就已經是可以通過美國藥監局審批了。而最近強生推出來的腺體疫苗有效性好像只有百分之六十多,但也通過了美國藥監局的批准,為什麼呢?就是因為它的儲存運輸成本極低,可以在零下二度至4度的溫度下儲存兩年,零上二度到4度的溫度上保有兩個月吧。

大概就記得是這樣的乙個資料,這個例子就可以說明並不是精度越高越好的。

2樓:

精度不是唯一的指標還有看看召回率和精確度吧還有考慮模型的大小計算量和時延。

如果只是在訓練集上精度高,有可能是過擬合了。一般需要用k折隨機選擇訓練集和驗證集

3樓:桂能

看你這個資料集有多大呀,要是10%本身就很大了,那測試集的結果越好肯定越好呀。

訓練集沒有什麼用的,你不加regularizer都有可能全中的,現在模型引數這麼大,過擬合太正常了。

4樓:OLDPAN

對,在測試集精度越高越好。

拿訓練集精度說模型好壞的都是耍流氓。

實際上我們的訓練集永遠不可能達到完美,因為我們無法獲取實際世界中所有的資料以及其分布,只能不斷靠近它。

5樓:夜星辰

乙個重要的問題,有癌症的人有多少?類別平衡嗎?

如果100個人中只有乙個人癌症患者,卻有99個正常人,分類器會幹一件什麼事?

我直接把所有人分類成為正常人我的準確率就會高的驚人,但是這個模型有用嗎?可以說毫無用處,就是搞笑的。

別光顧著算準確率,召回率和精準率還有其他的指標也是要看一下的

6樓:

不一定。

大部分場景下,大家的研究都是在追逐高精度;然而還有的場景我們需要的是魯棒性和泛化性。

僅高那麼一兩個點的精度,但是卻不能對訓練集中沒有見過的樣本很好的處理,那樣的模型就未必是好的模型了。

7樓:錢多多先森

做學術,搞研究,我們都用各種準確率等等都評測結果。

但是,產業上會有大不同。同乙個事情,應用到不同的場景,所需要的引數都要有所傾斜,不能一概而論,會更複雜

8樓:CurvaNord

不管是針對這個分類資料集還是針對實際應用來說,這種模式都不一定是最好的。

針對於這個分類資料集來說,根據題主的描述按照7:2:1的方式劃分了資料集,如果我理解正確的話,這裡使用的應該是Holdout檢驗。

Holdout檢驗的常見問題就是它沒有隨機性,最後的結果和你原始的資料分組有關。這裡可以使用k-fold cross validation調超參,最後在測試集的performance要比holdout方法更有說服力一些。

針對於實際情況來說就更不一定是最好了。offline sample和online sample分布差異較大的話,那不管你怎麼訓練,模型大概率都會過擬合在你當前的資料集上。

機器學習的訓練集和測試集劃分問題?

ZongSing 剛剛也遇到這問題,並且直接用np.arange 100 這種簡單又直觀的資料下去測試這個function。我以為train test split是先分割在各自打亂 data 1,2,3,4,5,6,7,8,9,10 step1.分割 train 1,2,3,4,5,6,7,8 te...

如何打造高質量的機器學習資料集?

看了一眼,大家對於 高質量 的解釋,半人工標註的方法,都解釋的挺好了,考慮到ImageNet這種級別資料集的規模,以單一組織之力組織 閉源 資料集,其資金 時間的消耗代價是非常大的,換個思路把這個題目放到開源資料集來回答。1 發起人 組織具有足夠的號召力 2 發起人無私心 開源精神不會被質疑 不會突...

機器學習中模型選擇為什麼要用交叉驗證集?

David 9 吳恩達的新書也提到怎麼選驗證集,可以看下這篇文章 吳恩達新書 Machine Learning Yearning 讀後感,驗證 測試 集怎麼選?如何高效分析效能?降低可避免偏差和方差?實操經驗總結 呂律 您問錯人了,我也不知道為什麼讓我解答的人工智慧的問題這麼多。我是個德語老師,文科...