自己的idea只在某乙個資料集上效果較好,其他的baseline上不怎麼樣,應該怎麼辦?

時間 2021-05-05 22:01:26

1樓:Leolsj

最近我也遇到了相同的問題,還是比較惱火的,磕鹽加油分析原因:

資料集的分布不同,複雜程度不同,對於不同的資料集同乙個網路結構並不能實現很好的效果。

分析資料集的分布

分析超引數的分布

如果你是分類任務或者是識別任務,可以把錯誤類別單拎出來看一下遍歷的引數還不夠多,畢竟很多引數沒有規定的取值範圍(如果你說的調參是learning rate,或者是batch size,就當我沒說吧)

2樓:他們叫我小銳

個人建議針對這種情況可以從兩個方向進行考慮 ↓一是這個 Idea 是否是針對特定資料集提出來的,另一方向是基於某一種或某一類方法的劣勢進行的改進。

1.如果是基於效果較好的資料集提出來的,可以想想看自己 idea 是否是有特殊性,能否泛化到其他資料集;統計分析所用的幾個資料集的特點,對比一下效果好的資料集是否有特點以及幾個資料集的差異,再結合自己的 idea 看能否適用所有的資料集。如果只能適用某個(類)特定的資料集,統計出這個資料集的特點,考慮在 idea 的適用範圍加上約束。

2.如果是發現某一類方法或某一類方法的不足進行的改進,可以考慮在這一方法或這類方法常用的資料集上進行實驗,或者直接在 baseline 用的資料集上進行實驗。如果效果還是不好,找乙個公開的原始碼用到這幾個資料集了,將自己的改進在此基礎進行實現驗證。

有了 idea 就不要放棄,再找找原因、多嘗試幾次實驗吧

3樓:Jacky huang

資料集是有特點的。某一方法的應用是主要解決存在一類問題的資料集。

你需要分析為什麼在乙個資料集上好在別的資料集上不好?是不是這些資料集的特點不一樣,其中某些特點是你的方法解決不了的?還是資料集本身有問題?還是你引數調錯?

你idea的作用你應該是很清楚的,資料集的選擇應該是迎合你的idea的。

你所謂的「好」指的是什麼?其中充滿隨機性嗎?比別的方法好多少,是否能足夠說明結果的區別性?假使差個零星半點,那在統計意義下是否說明沒有差別?

你提出的問題比較模糊。大家提的建議是在夾雜著各自理解與腦補的情況下給出的。也許與你實際遇到的問題相去甚遠。

我建議與你的導師細說你的想法和實驗,問題才比較容易被發現。問網友的話,要麼無法細說你的idea,要麼網友們只能說乙個可能性。你聽網友的話去做決定,一定意義上來說,叫做賭博。

4樓:

資料集還不夠。我們組做實驗都是在三五十個資料集裡找五六個還行的貼上去,實在找不到就多找些資料集。

ps. 座標國內cs某領域頂刊產出最多的組。

5樓:蘿蔔

這個時候可以考慮一下資料不平衡的問題,看看是不是自己的資料集的分類是恰巧比較平均

6樓:felix

我猜想你的idea是針對某個資料集來設計的,但是通用性較差,我們在觀察資料時應該找到所有資料的共性問題,我建議題主放棄這個idea

python如何檢視某乙個包中的某乙個函式的使用方法?

命令列輸入help 括號裡寫包的函式,比如import numpy as np help np.arange 就會返回這個函式的詳細介紹 碼儂君 想要探索已知庫提供了哪些函式和物件,最直接省力的方式是使用自動補全時會給出補全物件詳細資訊的碼字環境,比如超級無敵的 Docrun 補全資訊包含了全部官方...

有沒有在某乙個瞬間,你感覺自己特別委屈?

我才17,我爸是個賭鬼,無可救藥,我從小和我爺爺奶奶長大,幸好我媽離開的早,現在找了個好人家,有了個兒子,現在已經10歲了,現在的我還能和他玩的,但是我不知道我以後該怎麼面對他,我該怎麼解釋,等他長到我現在這個年紀,他怎麼辦,誰都不能接受乙個同母異父的哥哥的,我學習不好,我只考到了技校,我知道該幹些...

有沒有在某乙個瞬間感覺自己的身體或者思維已經老了?

Dream微成長指南 1.熬最深的夜,第二天會暈倒。2.每天醒來,不想再去外面探索新的東西。3.越來越多的明星小鮮肉,都不認識了。4.能坐就不會站著,能躺就不坐著。5.坐飛機就很害怕墜機,開始極度惜命。6.不再問為什麼,開始覺得一切都是理所當然,工作就是會加班。7.新來的同事,膠原蛋白特別足的時候。...