1樓：
假設是否合理是根據具體應用環境而定的，在深度學習興起之前，機器學習領域大家的乙個普遍的共識是：一定要對自己的模型做合理的假設，加合理的先驗資訊進去。使用這些模型的時候，再根據自己的問題是否適用來決定。
舉個栗子，比如你有一堆資料，用PCA做降維，其中有乙個維度是年齡，內在的概率分布可能是乙個高斯分布，而另乙個維度是性別，用特徵工程編碼成非零即一的one hot vector，那麼其內在的概率分部是乙個Bernoulli分布。假設這兩個維度的方差是相等的，我們知道給定均值方差的情況下，高斯分布是最大熵分布，所以年齡這個維度的entropy肯定是要大於性別這個維度的，換句話說，年齡中包含了比性別更多的資訊。
這時候你如果用PCA對它們進行降維，PCA是不會考慮他們內在的概率分布的，這樣最後你求得的eigenvector並沒有真正保留原始資料更多的資訊。
所以說，PCA的內在的假設就是認為各個維度是高斯分布的，或者即使不是高斯分布，各個維度得是同乙個概率分布，最好negative log likelihood是convex的，這樣方差大才等同於資訊多。如果滿足不了這樣的假設，就說明應用場景和模型脫節了。
個人認為學習每個機器學習模型的理論推導，最大的必要性就在這裡。通常對於乙個具體應用場景，我們對現實世界做出了合理的假設，引入合理的模型，就可以得到滿意的結果。
2樓：Yoo Shen
神經網路無論深淺都算是仿生的方法，沒有合理不合理的。都是創意加上結果導向的產物，出現了不足就會不斷改善，比如傳統神經網路到DNN，從RNN到LSTM。不過引數更新我覺得還是有很多巧妙的東西存在的。
3樓：etudiant
目前大家稱之為機器學習的基本上是統計學和 statistical learning 的混合，兩邊都有說法。
統計：All models are wrong, but some are useful.
Statistical learning：agnostic PAC
如何理解機器學習中雜訊影響模型複雜度問題？
噪音使得特徵失準，一般而言的雜訊相比常見的簡單模型要複雜，從而你如果不去除雜訊，至少需要同等複雜的模型才有可能得到觀感上較好的效果，而這往往是提高了複雜度的。 陶輕鬆 舉個例子，分類為 給出 隨機均勻 樣本資料集 即 人的特徵集 樣本特徵可分為 樣本列表如下 D 根據資訊增益的定義，首先資料集D的經...
如何理解機器學習中的 regularization （正則化）？
zhao 先占個坑寫個快捷簡短的。intuitional角度 L2norm懲罰太大的weight W，讓很多W處於很弱的狀態，這相當於降低了模型複雜度。統計角度，不少前面的答案提到了Gaussian先驗分布，是這麼個事兒。統計目的是找到合適的W，使得posterior概率最大化，用人話說就是 給定資...
如何理解機器學習中的嵌入 Embeddings ？
RandomWalk 應該是翻譯成嵌入比較多吧。機器學習裡面嵌入這個概念應該是來自於NLP領域的word embedding，意思就是給每乙個符號 字或者詞 在乙個向量空間裡面找乙個 代表 貌似現在embedding這個詞已經開始亂用了，有人把影象或者語音提取的特徵也叫embedding。這種應該叫...