1樓：[已重置]
如果以CNN結構下的影象分類為例，那麼實際上滿足訓練目標的函式（從輸入資料點集到輸出點集的非線性對映）是不唯一的，這些函式的距離也並不一定是互為鄰域，所以這個學習過程是可以抽象為通過梯度優化尋找一條具有特定長度的曲線，使得曲線連線函式空間（將所有對映看作乙個流形）的乙個起始點到一組可能的終點中的不確定的某乙個點的過程。
所以這個過程並不保證收斂，也不保證收斂到某個特定函式，也很難會構成壓縮對映從而導致不動點，訓練嚴重依賴於網路結構和代價函式所共同定義的黎曼流形的曲率分布。
至於中間過程的意義，恐怕只能是當你構造的網路結構和問題內在的資料結構匹配的時候，中間過程可能會有好的物理含義。但是實際上結構不匹配的網路一樣可能完成任務，這樣的網路的中間過程就無法保證物理意義的合理性。比如用CNN來模擬流體特性的，只能是保證端到端的資料的可靠性，很難說網路的中間過程會對應流體在時間上的演化過程，CNN考察流體最大可能是通過尺度變換來擬合特定時間節點下的流體變化，更像乙個空間頻域的處理而不是時域處理，所以中間過程和流體力學規律沒有對應關係。
所以，找到中間過程有物理意義的網路的前提是我們對系統特性有充分的了解，在沒有這個先驗知識的條件下，剛好網路結構能體現出這些資料的內在特性的概率是比較低的。但是CNN在處理影象上是有這個特性的，這還是因為我們對影象特性太了解了，構造的網路和影象匹配的太好了。
深度學習的模型並行是什麼原理？
劉留 把mini batch分割成micro batches GPipe Efficient Training of Giant Neural Networks using Pipeline Parallelism 說一下我工作的經驗，多GPU並行有兩種方式 一是資料的並行，二是模型的並行。通常第一...
多核學習和深度學習的關係是什麼？
dong dong 多核學習屬於多視角學習的一種，所謂的多視角就是從多個角度學習，如同盲人摸象，最終把畫面拼湊出來。它是一種無監督學習方法。深度學習是神經網路的一種。 Xenophon Tony 歷史上之所以會出現多核學習 MKL 這個詞，是因為在深度學習流行起來以前，kernel是處理非線性的預設...
學深度學習有沒必要把傳統機器學習演算法原理都學一遍？
沒有必要。推薦使用deep learning for computer vision with python，一本書完成從入門到精通。即使少量地方需要ml的知識，臨時補都可以。各個學科有交叉的時候，只需要補充交叉部分，多了的不要去管，快速達成目標最重要。即使就業導向，需要補ml以應對面試，那也與dl...