如何理解 LSTM 中的 cell state 和 hidden state

時間 2021-05-30 02:39:41

1樓:ARYA

cell和hidden是網路通過gate進行特徵選擇和特徵記憶的結果。

通過cell的計算公式可以看出該單元能夠儲存全部時間步的資訊(ft為1),有點highway的感覺,因此能儲存長期記憶;而hidden是網路在cell的基礎上進行特徵選擇的結果。

2樓:李鵬宇

LSTM神經元在時間維度上向後傳遞了兩份資訊:(1)cell state;(2)hidden state。

hidden state是cell state經過乙個神經元和一道「輸出門」後得到的,因此hidden state裡包含的記憶,實際上是cell state衰減之後的內容。另外,cell state在乙個衰減較少的通道裡沿時間軸傳遞,對時間跨度較大的資訊的保持能力比hidden state要強很多。

因此,實際上hidden state裡儲存的,主要是「近期記憶」;cell state裡儲存的,主要是「遠期記憶」。cell state的存在,使得LSTM得以對長依賴進行很好地刻畫。

可以參考

李鵬宇:LSTM——魔改RNN的經典之作

裡展示的圖圖和公式。

3樓:Cashnono

看到過相關的理論,LSTM只是在RNN的基礎上多了一記憶細胞層,可以把過去的資訊和當下的資訊隔離開來,過去的資訊直接在Cell執行,當下的決策在Hidden State裡面執行。

4樓:徐松

How is the hidden state (h) different from the memory (c) in an LSTM cell?

GCN的提取的特徵如何輸入到LSTM中?資料維度和形狀要經過怎樣的變換?

皇德華叫獸 這裡輸出有點問題,正常的應該是包含時間序列,然後對時間序列進行切片,然後輸入到lstm中。比如 batch,time steps,num nodes,dim features 你這裡現在擁有的那個none就是這個batch,然後time step你這裡面沒有,number node有了,...

如何在訓練LSTM的同時訓練詞向量?

曹澤 之前的人說了0是平凡解的原因就不贅述了。從語言學的角度上講這個objective function其實是在force lexical representation 和 contextual representation相同,作為乙個lm的auxiliary objective function...

如何理解卷積,另外如何理解影象處理中的卷積?

烈日烤魚 影象上的卷積其實是乙個很簡單和傻瓜的概念,千萬別被名字嚇到了.影象是二維陣列 方便起見,用一維陣列舉例.卷積1 2 3 4 5 和 10 20 30它的結果也是乙個陣列.這個陣列第乙個值就是 1 10 2 10 3 30 其實就是對應項相乘,求和.第二個值就是 2 10 3 20 4 30...