1樓：
注意力機制可以看作一種特殊的基本基於線性操作完成的訊息傳遞機制，基本思路就是：
（1）系統分為多個子系統，子系統之間需要進行訊息傳遞。
（2）在注意力機制中，對不同子系統的特徵進行乙個線性的embedding, 然後通過內積計算嵌入空間向量的相關度。
（3）子系統之間的相關度作為權重，去對訊息（另乙個線性嵌入向量）進行加權。
所以，核心就是乙個子系統之間的相關性，只不過這裡是通過乙個embedding操作後計算了相關性（感覺有一點kernel trick的意思），其實顯然這裡的embedding完全可以擴充套件成一般非線性的，只不過線性的操作複雜度低一些，而且基本可以完成任務要求，所以注意力才選擇了線性操作。而這個embedding的操作需要我們通過訓練完成。
如果我們進一步把一般線性空間操作簡化約束為旋轉平移，則這可以模擬為乙個影象處理裡的傳統的registration問題，高相關性就模擬為子系統之間有固定的座標系變換關係，即有基本固定的位置關係，而弱相關性就是子系統之間的位置關係是不固定的。而我們的注意力任務基本就是看能否從乙個子系統的位置估計出其他子系統的位置。在權重歸一化約束下，我們需要做到使得整體的位置估計的可靠性加權最大化，或者誤差的加權最小化。
直觀的模擬，明顯我們引數估計的結果一定是對有固定位置關係的部分賦予更多信任度。所以，注意力機制資料驅動優化的結果就是，一方面可以找到子系統之間相對固定的座標變換並賦予更大權重，另一方面對沒有固定位置變換關係的子系統的位置資訊減小權重。
如何克服焦慮，集中注意力高效學習？
陸66 我以前也焦慮到無法學進去，每天花大量時間在跟焦慮對抗，建議，你先停下來分析一下你的心理深層原因和障礙，掃除一下障礙再去學，會事半功倍。我現在已經沒有焦慮障礙了，學一分鐘就會有一分鐘的收穫，希望幫到你 藍洱 給你推薦一本書 堅持，一種可以養成的習慣 你所有的疑惑，痛苦，焦慮，裡面基本都有解答。...
如何在學習中保持集中注意力？
蒼嵐木兮 學習有兩種狀態 順水行舟 和 逆水行舟 順水行舟 就不多用說了，兩岸猿聲啼不住，輕舟已過萬重山，這是學霸 學神的境界。逆水行舟 顧名思義，就是前進吃力，不進則退，明明是想學習，腦子卻不由自主的神遊四方，沉浸於電視劇集，遊戲，戀愛的回憶中，而學業卻是舉步維艱。對於 逆水行舟 的處境 木兮這裡...
如何集中注意力，說服自己好好學習？
qqqqq 瀉藥不清楚，為什麼好好學習也要說服，這不是應該做的m我是個學生，我可以為社會做出的最大貢獻就是好好讀書讀書對我來說亦像是一場持久的投資，可以理解為讀書就是我現在的本分職業 許嬌嬌 第一步也是最難的一步，就是放下手機，不受外界因素影響，然後再給自己制定個學習計畫，你不需要完全按照它去執行，...