為什麼LSTM模型時間步長選擇太長,模型訓練曲線振盪明顯,訓練時間很長,最後準確率很低

時間 2021-12-20 14:31:04

1樓:FFFFFFC

你設定很長的時間步長可以近似認為你認同前後距離很遠的資料還是有聯絡的。

不知道你是不是做回歸,如果是的話,你要仔細想想,時間步長設定那麼大真的有意義嗎?或者說這個意義相比將至設定為特徵值更大一點嗎?

如果本身前後就沒啥練習,硬湊,湊出來結果差是相當可以接受的現實。

2樓:才學會飛行

稍微有點想法說一下,有錯很希望指出:

以前看資料時,了解到確實有乙個閾值,但是多少不敢妄言,這東西應該就是個參考。

LSTM雖然可以解決長期依賴的問題,但它還是有乙個上限的。看memory network的時候用"頻寬"來比喻感覺很恰當,lstm的隱藏層資訊容量(隱藏單元個數)是有限的,也就是"頻寬"有上限,總有個飽和點吧。模型學不到資訊,loss肯定下不去,那accuracy肯定也低啊,這個邏輯應該很簡單。

至於為什麼慢......你跟誰比較的?CNN,那必須慢,RNN缺點就是不能並行,自己實驗下你就知道rnn有多慢了。

跟你上乙個步長短的RNN比較?你模型引數雖然沒變,但是lstm步長變長了,你正向傳播和反向傳播的步驟也變多了啊,姑且認為模型大了啊,訓練量肯定也大,那肯定慢了,也是很簡單的邏輯。

至於誰都沒比較就是覺得慢.....

為什麼LSTM模型中既存在sigmoid又存在tanh兩種啟用函式?

微塵 黃含馳 關於啟用函式的選取,在LSTM中,遺忘門 輸入門和輸出門使用 Sigmoid函式作為啟用函式 在生成候選記憶時,使用雙曲正切函式tanh作為啟用函式。值得注意的是,這兩個啟用函式都是飽和的也就是說在輸入達到一定值的情況下,輸出就不會發生明顯變化了。如果是用非飽和的啟用圖數,例如ReLU...

機器學習中模型選擇為什麼要用交叉驗證集?

David 9 吳恩達的新書也提到怎麼選驗證集,可以看下這篇文章 吳恩達新書 Machine Learning Yearning 讀後感,驗證 測試 集怎麼選?如何高效分析效能?降低可避免偏差和方差?實操經驗總結 呂律 您問錯人了,我也不知道為什麼讓我解答的人工智慧的問題這麼多。我是個德語老師,文科...

為什麼需要伊辛模型 海森堡模型 t J 模型等一系列模型?

Klxsx 可以讀讀Rodney J.Baxter 寫的 exactly solved models in Statistical mechanics KhalilXX 由於自身專業的原因,我並不能回答以上所有問題,挑幾個我自己感興趣的topic 1.可以去寫乙個統一的模型使得這些模型是統一模型引數...