1樓：AsSalmon
我是這樣理解的，有不對的望指正...
引數更新時，使用梯度下降演算法更新，沿著梯度方向是變化最快的方向。訓練集資料量很大的時候，使用SGD，每次只用一小批資料更新，這時候根據這一小批資料計算出的梯度和前面用全部訓練集資料計算的梯度是有一點誤差的，即梯度方向並不是下降最快的方向，會有偏差。
2樓：Jarlene
adaptive_learning_rate的目的是為了加速收斂（或者跳出區域性最優），adaptive_learning_rate可以理解為分兩部分，乙個是學習率自適應，一般來說訓練剛開始的時候學習率希望較大，來加速。到後期希望學習率較小來精準。因此學習率自適應一般和迭代次數有關係（倒數或者其他什麼的）。
第二個目的是為了跳出區域性最優。可能在某個地方的梯度是的cost function減少最快，但是對應的解卻不是全域性最優解，因此可以嘗試改變梯度方向使得訓練跳出區域性最優，當然在隨機梯度下降方法的時候，改變梯度方向也可以加速訓練。
深度學習中「Transformer」怎麼翻譯為中文？
沈卓然 我覺得暫時最好的方案就是直接用英文Transformer。Transformer基本上相當於乙個專有名詞，不是所有專有名詞都需要翻譯的。比如Windows Office iPhone，甚至WiFi，這些都沒有翻譯，大家用到的時候也是直接用英文詞彙的。我是乙個比較注重語言純潔性的人，但是有些詞...
如何理解深度學習中的deconvolution networks？
寫寫理解，不對的請批評指正。卷積 輸入 H in W in,卷積核 k，stride，pad 輸出 H out W out 如果想輸入尺寸 輸出尺寸，stride 1，pad k 2如果想輸入尺寸 輸出尺寸，stride 1反卷積 就是卷積 適用場景 輸入尺寸 輸出尺寸，並且通過對輸入隔行補0 pa...
python中神經網路，機器學習，深度學習，人工智慧的關係？
冰笛 在紙上畫一顆樹，那麼樹冠可以比作是機器學習，其中的一部分枝蔓比作神經網路，這其中的一根比較粗壯的相當於深度學習 整棵樹是人工智慧的乙個剪影，而python則是畫筆和紙。 教員的好學生 python是一門語言，神經網路，機器學習，深度學習是演算法，人工智慧是工程，神經網路是機器學習的一種演算法，...