深度學習中,如果改進後的網路,準確度和推理時間沒有基本沒變,模型減少了三分之二,這算是改進嗎?

時間 2021-05-10 02:39:07

1樓:王梓帆

不一定。

首先讓我迷惑的是參數量少了1/3推理時間還基本不變,少了的引數是基本都是parallel commutation裡面的嗎?

其二準確率不是唯一的performance metric,特別在分類任務中,看看你的confusion matrix,會有更多資訊。

其三,不同的模型可能convergence情況不同,比較不同的模型,需要在comparable setup中進行。這一部分題目沒有,無法分析。

2樓:若符

是改進。但是意義有多大要再商榷。如果只單一面對某個現實場景,你的模型應用上去,獲取了更小的儲存,從現實角度來說是否能帶來效益的提公升。

從科研學術角度來說,如果不能夠說清楚為什麼會這樣,價值也不算太大。如果能深入分析哪一部分沒有用,為什麼,這種改進對其他網路是不是也可以用,就比較有價值。

3樓:何文謙虛謹慎得不得了

這個問題題主說的不夠詳細,這個準確度和推理時間是在某乙個特定任務還是在很多任務上,在引數量減少三分之二的前提下generally都沒有變?深度學習在做model compression的時候關注的確實是在performance沒有顯著下降的前提下,盡可能削減trainable parameters的數量。狹義地來說,針對某個具體的task,題主的做法肯定是優化了,但如果沒有在多領域多工上做實驗,不能算作model compression

python中神經網路,機器學習,深度學習,人工智慧的關係?

冰笛 在紙上畫一顆樹,那麼樹冠可以比作是機器學習,其中的一部分枝蔓比作神經網路,這其中的一根比較粗壯的相當於深度學習 整棵樹是人工智慧的乙個剪影,而python則是畫筆和紙。 教員的好學生 python是一門語言,神經網路,機器學習,深度學習是演算法,人工智慧是工程,神經網路是機器學習的一種演算法,...

機器學習 深度學習 神經網路等網路的輸入層變數需要提前篩選嗎?

深藍遠景 傳統的機器學習需要人工篩選特徵,這個叫特徵工程。深度學習的出現,將特徵提取和監督學習放在乙個模型裡,如經典的CNN,通過不同的卷積核自動提取不同的特徵,最後接全連線進行監督學習。因此大多數深度學習都是直接將特徵輸入到輸入層監督學習,不同的深度可以學習到不同層次的特徵。 Leo李浩 仔細篩選...

深度學習微調網路,會導致網路對原本的資料識別效果變差嗎?

嚴謹的說,大概率會變差 所謂的微調不就是換乙個新的資料集新訓練幾次麼。在A資料集上擬合好的模型,換乙個B資料集肯定會偏離A的分布啊。運氣好的話,AB分布無限接近,如下圖 那學出來的模型必然影響不大,如果迭代少甚至有可能提公升 但是多數情況不會這樣,不同的資料分布差異倒不一定多大,但鑑於現在的模型幾乎...