Word embedding中,對於相似詞義的單詞會優化成空間中距離接近的向量,現在能否給出形式化的數學解釋?

時間 2021-06-06 18:28:10

1樓:li Eta

題主說的word embedding是哪一種?如果是word2vec的話。那麼word2vec其實是把文件中乙個word的contexts作為這個word的「表示」,然後對這個「表示」做embedding,從而得到這個word對應的embedding。

顯然,如果兩個words的contexts如果相似,得到的embedding自然也是相似的。

不過word2vec得到的embedding還有乙個特殊的性質,也就在word analogy task上表現得格外好。形式類似於A-B=C-D,給定其中ABC三個words的embedding vectors,則能夠infer出D的embedding vector,word2vec在這個task上的準確率比其他方法高。

2樓:馬進

我們一般認為,語義相近的詞上下文也相似。根據word2vec的訓練方法,上下文相似的詞,詞向量得到的更新也就相似,所以最終得到的詞向量相近。

word embedding除了word2vec和cbow以外,還有什麼廣泛採用的方法?

如果是那種非深度學習的詞向量還有Glove詞向量,fasttext 這個可以看成skipgram的優化 現在用的最多的還是基於深度學習的那種,即用bert和改進的bert生成的上下文有關的詞向量。不過如果用的是第一層的word embedding的話也是上下文無關的了,但沒怎麼看到有人這樣做過。be...

《The Last of Us》中Joel對Ellie懷著的是怎樣的感情?

dramamixture 我覺得喬爾對艾莉的感情emmm.也許有也許沒有真的說不清但是百分之九十應該是女兒情那種艾莉對喬爾是沒有的因為官方設定為lesbian了但是說實話如果我是艾莉我絕對會愛上喬爾各方面條件優秀又英俊又那麼暖那麼貼心那麼英勇.聽說編劇讓艾莉變成lesbian就是認為如果艾莉是異性戀...

感情中「雙標」,對麼?

Labee 任何形式的雙標都是不對的哈,特別是你還知道你在雙標,說深刻了就是品格問題。女孩想多要點呵護可以接受,但是注意節制,不要時時刻刻大事小事都這樣。 知妖 自私,你只在意自己的感受,你不在意他的感受。真正的你好我好歲月靜好是平等的,如果你想好好享受的話 俗稱 佔便宜 那請好好抓緊時間好好壓榨他...