為什麼 Attention 叫機制?

時間 2021-05-05 20:42:04

1樓:

卷積並不廣義吧, 而是乙個有清晰定義的數學操作. 相比之下, Attention 更多強調的是乙個動態的過程, 且與意識, 記憶等更複雜且相當未知的存在高度相關, 符合下面的字典裡對 Mechanism 的定義:

a system of parts working together in a machine; a piece of machinery.

a natural or establishedprocessby which something takes place or is brought about.

2樓:

這是來自認知科學的術語 attention mechanism,而 mechanism 一般翻譯成`機制'。卷積是一種相對有效的計算操作,並沒有機制`廣義'。要說機制,強調一種理論模型的建構。

那麼可能 receptive field mechanisms 算是卷積所基於的機制吧。

3樓:孫奕帆

僅就這兩個比較的東西來講,cnn是一種通用做法;而attention強調效果,可以有很多做法來達到attention的效果。此外,為什麼會達到attention尤其是self-attention的效果,其實並沒有透徹解釋,它就這樣存在了,因此稱為機制較為貼切

河馬為什麼叫河馬?豪豬為什麼叫豪豬?

楊一一 關於河馬的名字我猜測是意譯自古希臘語。河馬屬的學名 Hippopotamus 源自於希臘語英文名稱即hippopotamus,希臘語的hippos即 馬 potamus即 河 同樣,德語裡河馬一詞Flusspferd 也是由Fluss河 Pferd馬組成。豪豬的學名porcupine 來自拉...

為什麼飛機叫延誤,火車叫晚點?

裡歐 嚴格意義上並無對錯,但總體上習慣使然。鐵路說晚點一般是指到達晚點,尤其是列車在途中一般停靠多個站點,都是較短時間內到達,出發 高鐵往往就1 2分鐘 乘客一般只說到點,不那麼關注出發時間,只要到達準時極少出發晚,而到達是否準時,我們習慣說常說 早點,正點或晚點。航空一般說延誤是指出發 似乎我們乘...

為什麼會實行搶票機制?

慎獨 就在剛剛從飛豬買一張明天從鄭州到周口高鐵,省內的,居然讓我搶票,還讓我買搶票券,好一會沒訊息,然後我在12306上立刻就買到了,不需要搶票,還可以選擇座位,強烈推薦12306,買票還是要去官方買 FringEric 所謂搶票機制是各種第三方購票軟體自己編出來的,在鐵總那裡並沒有所謂搶票機制,買...