1樓：superbrother
我覺得很多演算法的fundamental limitation也很明顯，下面我分為兩類總結
很多統計學習方法都是假設資料服從某種分布才能推導出解析解或者理論上的證明，當然最常見的就是宇宙中心「正態分佈」
比如來看一下當資料服從正態分佈時，最小二乘法等同於最大似然估計的推導
對於樣本序列 ，考慮魯棒性，假設觀測值 是由模型的輸出 加上高斯雜訊 得到的
似然函式就是
其中 是已知資料，根據正態分佈的可加性， ,帶入正態分佈的密度函式可以得到
最大化 ，也就等同於最小化 ，也就是最小二乘法
同樣的還有，ridge是高斯先驗下的最大後驗估計，而lasso是拉普拉斯先驗下的最大後驗估計。
fundamental limitation其實很明顯，因為最後根據loss要求解的優化模型，基本都是非凸的高維優化問題。比如，Visualizing the Loss Landscape of Neural Nets指出深度網路的解空間如下圖所示，基本上是「梯度懸崖峭壁，鞍點叢生」，目前也就說沒有能求到最優解的演算法，所以就需要高深莫測的「煉丹術」了。
高維非凸優化問題的解空間
2樓：Lunarnai
首先不太了解題主所言的 fundamental performance limitation 具體所指, 只能就我自己的認知來解釋一下.
機器學習所研究的主要內容是關於在計算機上從資料中產生模型的演算法.
或者按照Mitchell給出形式化的定義:
假設用P來評估電腦程式在某任務類T上的效能,若乙個程式通過利用經驗E在T中任務上獲得效能改善,則我們就說關於T和P,該程式對E進行了學習.
無論是通俗還是嚴謹的定義,都離不開資料(經驗)和機器(計算機), 那麼首先拋開模型來講, ML的最基礎的限制在於算力和資料.
算力自不必言, 如果有無窮的算力, CS界90%的問題就都解決了;
資料上除了資料的量級外, 資料的Bias也決定ML的產出, 對應人類的"You are what you read/eat", ML模型也有"You are what you feed".
Lunarnai：CNN（卷積神經網路）最早是哪一年提出，是如何發展的？ 其實對ML的回顧可以看出, 大部分的演算法和trick都可以追溯到上世紀, 但是本世紀的算力提高和資料積累才真正解放了ML的能力.
這二者應該是ML最基礎的要素了, 沒有這二者其他的都是空中樓閣.
不過相信題主可能更關注的是模型層面的limitation, 這方面有learning theory的很多任務具可以來解釋, 包括Kollar從概率的角度, 以及資訊理論的角度都可以做一番解釋, 先占個坑, 寫完手頭實驗再來細答.
3樓：網譜智慧型機械人
- 2+2等於幾
- 4- 4+5等於幾
- 9這就是機器學習，準確來說是最常見的一種，監督學習。最開始的幾步是對於模型的訓練，「多了」或「少了」可以理解為訓練時的誤差，模型根據誤差調整自身引數，這就是機器學習裡常用的反向傳播(Backpropagation)的簡單的解釋。梯度下降涉及到計算，真沒想到該怎麼通俗解釋。
4樓：Guanqun Yang
似乎是兩件事請：
1）generalization bound（比如Hoeffding bound）是with high probability成立的，所以performance帶有不確定性
2）正是因為上面的不確定性，就有了No Free Lunch theorem，即不存在乙個演算法對所有的dataset都有效
自動控制（包括但不限於機械人控制）如何才能避免 只是調引數 ？
小c 只是調引數，能只調引數就解決問題是一種幸福。產品開發出來，為了更好的適應市場和競爭。廠家會把絕大多數的控制場景預置進去，設定眾多的引數。所以大部分情況下只需要設定引數就能解決問題。當碰到特殊情況時候。引數解決不了。那就要我們自動化人員開動腦筋了。這個時候你就會發現痛苦了。換句話說，為了方便，我...
完全沒了解過FATE 包括但不限於設定，動畫 有辦法享受幻想嘉年華嗎？
立香 別的答主都說難，我就不一樣。事實上，不可能。這就是一部玩梗的官方精神病作品，不了解你根本就不知道看點在哪，完全沒有體驗。甚至於你光了解fate都不行，因為裡面還有大量魔夜，月姬等作品的梗。而且你要是沒了解過fate系列你為什麼會生出要看幻想嘉年華的想法呢 祭雨天傷 直接說結論，夠嗆。別說不了解...
聽力不好，如何應對英語聽力（包括但不限於TOEFL考試）？
淨梵 一 總結一下題主這種情況做托福聽力遇到的問題 1 對托福聽力單詞的發音 意思不熟 2 跟不上音訊的進度 3 記不住通篇音訊的重要資訊 二 針對這類問題，有乙個意見不得提前先強調一下 2 有確切的目標才能有學習的動力。所以你以托福考試為目標來複習英語，沒有錯。但是糾結於一步沒走好，就禁止前進，就...