當你在深度學習中調參的時候，你其實是在幹什麼？

1樓：cyantree

人工調參的本質就是在輸出人類的智慧型，之所以深度學習並非真正的AI就在於此。用最小二乘法來擬合資料等同於製造全知全能的上帝，但是上帝是不可能製造出來的，資料也是不可能找到最優的擬合曲線的，所以只好靠引入人類的智慧型來解決問題。因此，深度學習能解決問題，但並不智慧型

2樓：Greene

大概是這樣乙個關係:

考慮最簡單的分類任務，在資料空間和標籤空間組成的資料集空間中可以構造乙個資料集，模型的作用是構造乙個從資料對映到標籤的對映，即

但是直接尋找這個模型比較困難，因此我們首先假設這個模型可以表示為一些特定的形式，例如多項式、神經網路、決策樹等，然後調整這些形式的引數來選擇最合適的模型，即將進行引數化（parametrize），於是問題就變成了

上式中的就是確定解空間的過程，例如選擇模型、設計網路結構、決定框架；則是訓練過程優化演算法做的事情，即從解空間中找到最合適的對映，由於已經將進行了引數化，得到了乙個解空間，因此做的就是在這些引數中尋找乙個最合適的引數，使其在訓練集上表現最好。

但是本身也有引數，例如學習率、動量、權重衰減係數、迭代次數等等，因此為了避免混淆，這些引數就叫超引數（hyper-parameters）。

我們實際需要的是模型在測試集上的表現，而模型在訓練集上的表現不能完全反映其在測試集上的表現，因此需要調參，一般指的是調整訓練過程的超引數，但是如果發現某個模型表現不好，調整模型結構甚至模型型別，此時調整的就是引數。

調參的目的是讓訓練後的模型在測試集上的表現更好，其本質是在測試集上訓練超引數/引數。

假設的引數空間為，那麼調參這一過程則是從引數空間中學習一組最優的引數，使得這組引數對應的能夠找到一組最優的解空間，從而使得能夠找到乙個最優的對映（訓練後的模型），使得在測試集中的效果最好：

當你在調參的時候，你其實是乙個人肉優化器 :-)

3樓：Thinkwee

不太了解題主說的人工參與定義是什麼，假如人工參與指設計網路，那更多資料覆蓋了更大的假設空間，可能需要人工設計更為複雜的網路來學習，並不會人工參與減少。雖然說神經網路具有萬能擬合，但實際條件遠沒有這麼理想，絕大部分工作都是人為設計結構，幫助網路擬合。

教小孩認狗，引數是小孩腦子的內容，超引數是生小孩_(:* ∠)_人工設計/選擇框架時，我是在為要處理的資料選擇合適的先驗結構優化演算法和模型結構是配套設施，用來解決問題的，這套設施不是萬能的，需要針對不同問題來配置，調參是找出最優配置。

4樓：Lighthouse

（1）這個問題可以說一下傳統機器學習和深度學習之間的區別。傳統機器學習方法如SVM，也是需要訓練資料的，但是隨著資料量的增加，這些方法很快就會飽和，就是再增加資料量不會再繼續提公升效能了。這是因為這些方法本身的學習能力不夠，而且需要手工提取特徵，這些特徵的表徵性可能較低。

深度學習之所以火熱就是因為克服了這些問題，自動提取特徵，避免了手工提取特徵的難度，而且參數量大，模型學習能力足夠，能夠充分利用大資料提公升效能。但是，這又會帶來另外乙個問題，參數量大，模型學習能力強，如果資料量較小的話會導致過擬合。

（2）這個問題，其實比較好回答，引數和超引數的區別在於，引數是在訓練過程中實時更新的，如卷積核的權重；相反，超引數是提前設定好的，無法通過訓練的梯度反傳進行更新，如學習率。

（3）人工設計網路時，其實是在對問題進行建模。當然這個問題見仁見智哈。我認為，雖然深度學習是一門實驗學科，但是還是存在一些基本原理或理念，是你在利用這門工具解決問題時必須遵守的。

比如，分類網路就是卷積層+全連線層，不同的分類網路的區別在於卷積如何實現，全連線如何實現。檢測網路和分割網路也有固定的網路結構。那麼，你在解決遇到的問題考慮如何選擇或設計網路時，其實就是融合你對這個問題的認知和網路結構特性的理解來確定解決問題的方法的過程。

我認為，這就是在對問題進行建模。

（4）對於深度學習來講，調參是非常關鍵的。我同意前面網友的說法，「在乙個領域的早期，很多前輩基本上已經調好了太多東西了，很多後輩會自然的把一些結果理所當然地拿下來，然後調剩下的。」對於我們來說，確實是站在前人的肩膀上。

但是調參並不是盲目的，肯定會有乙個方向性的。比如調哪個引數，調大或調小，至於調多少，是需要實驗來確定的。如果方向性都沒有，調參的效率是非常低的，是不可行的。

所以，調參是需要你對當前的模型有較深刻地理解的。那麼，這個問題也就好回答了，調參是在根據問題優化模型，以使當前模型更適合於解決你當前的問題。