「深度學習」和「多層神經網路」的區別

1樓：資本西側

深度學習是在神經網路基礎上發展出來的一種演算法，主要優勢能夠通過feature learning選擇初始特徵，這解決了一般神經網路容易陷入區域性最優解的難題。此外，深度學習訓練多層網路的速度更快。更多關於深度學習和神經網路的區別，推薦這個博主的回答：

帳號登入

2樓：水果豆腐

深度學習，主要指深層的神經網路。其崛起於2023年的Alexnet卷積神經網路。與多層神經網路不同的是，卷積神經網路採用了引數共享機制，大量減少了模型引數，減輕個過擬合效應。

因為卷積神經網路出現，使得神經網路層數得以加深，深度學習才能實現。如果是非要找乙個區別，那就是深度學習通過卷積實現了引數共享，多層神經網路是全連線。

3樓：不思蜀

沒區別。

最多就是層結構不同，都是stack layers。 05年的時候換個名字希望轉運而已。

PS:某人問我，rnn的神經元是怎麼回事？他試圖用一搬的sigmoid啟用函式的y＝wx+b來解釋每個神經元。

不過我給他回答了矩陣形勢。但是還是問我到底幾個神經元。。。

4樓：張翔

沒什麼區別，是數年前幾個大牛為了把學術界的目光重新轉到神經網路上提出的新名詞。

當然，最近有一些深度學習背景下產生的新技巧新設計，但是本質沒變

5樓：

深度學習是一種學習方式，指的是採用深度模型進行學習，不是模型。多層神經網路是一種模型。

問題轉成深度模型和多層神經網路的區別。多層神經網路只要夠深就能稱為深度模型。但是深度模型不止只有夠深的多層神經網路一種，還有 DBM、DBN 等圖模型，也有一些帶反饋的神經網路如 RNN 什麼的。

6樓：

Deep learning這個概念包括了多層神經網路，還包含一些訓練模型的演算法，

有dropout,contrast discrimination, autoencoder ,最近還把embedding和transfer learning的

東西也扔到這個筐裡。

至少卷積神經網路，則是一種神經網路的連線結構，常用於不同大小的結構性資料的

問題，比如影象識別。

7樓：青青子衿

為了克服神經網路中訓練的問題，DL採用了很不同的訓練機制。

傳統神經網路中，採用的是Back propagation的方式進行，簡單說來就是採用迭代的演算法來訓練整個網路，隨機設定初值，計算當前網路的輸出，然後根據當前網路輸出與label之間的差值去改變前面各層的引數，直至收斂（整體上是乙個梯度下降法）。

而DL整體上是乙個layer-wise的訓練機制。原因在於如果採用Back propagation的機制，對於乙個deep network（7層以上），殘差傳播到最前面的層已經變得很小，會出現梯度擴散，影響精度。

另外DL第一步也不是隨機初始化！而是通過學習輸入資料的結構得到的，因而這個初值更接近全域性最優，從而能夠獲得更好的效果。

總體說來，初值選取和訓練機制等方面截然不同。