1樓：虹跡
如果是那種非深度學習的詞向量還有Glove詞向量，fasttext（這個可以看成skipgram的優化）。
現在用的最多的還是基於深度學習的那種，即用bert和改進的bert生成的上下文有關的詞向量。不過如果用的是第一層的word embedding的話也是上下文無關的了，但沒怎麼看到有人這樣做過。bert之前的話就是elmo。
2樓：
fasttext
2023年由facebook提出的模型，加入了文字的N-Gram特徵，而且引入了hierarchal softmax訓練速度賊快。
3樓：hui蕾
首先CBOW是word2vec的一種，word2vec主要包含CBOW和Skip-Gram。除了word2vec，還有一些簡單方法如One-Hot、TF-IDF、Co-Occurrence Matrix等，一些高階方法如GloVe、ELMo、BERT、FastText等
4樓：小魚人
啊這…事情是這樣的
如果我們使用one-hot向量表示詞的話，那麼維度大小會等於詞表大小，非常稀疏，並且所有詞向量都是正交的而沒有包含任何詞之間的關係，於是希望將詞放入稠密的向量空間中（維度小於詞表大小）。通過分布式假設，即「詞的含義通常由經常出現在其附近的詞給出」或者說「上下文相似的詞具有相似的詞向量」的思想來學習詞的分布式表示，如Word2Vec（包含skip-gram，CBOW）、GloVe等。但它們最後學習得到的詞向量是固定的，無法表示詞的一詞多義，所以說此類是靜態（上下文無關）詞向量。
隨後的ELMo等方法通過訓練BiLSTM而不是詞向量矩陣本身，學習到詞的上下文表示。對於不同上下文，同樣的詞輸入學習好的BiLSTM後會得到不同的詞向量，所以說此類是動態（上下文相關）詞向量。
最後的BERT類方法，使用大量資料直接預訓練整個模型（其中對訓練任務的修改也很關鍵，如MLM、NSP等）。得到的模型不僅可以作為動態詞向量的提取器，它甚至還學習到了字元級、詞級、句子級、句子間的關係，可以新增乙個輸出層後直接用於下游任務，將詞向量的訓練提公升為整個網路骨架的預訓練。
5樓：wanyuks
有點多，比如glove， fasttext， lsa等等，還有很多預訓練模型，elmo，bert，gpt，ERINE等等
Word embedding中，對於相似詞義的單詞會優化成空間中距離接近的向量，現在能否給出形式化的數學解釋？
li Eta 題主說的word embedding是哪一種？如果是word2vec的話。那麼word2vec其實是把文件中乙個word的contexts作為這個word的 表示 然後對這個 表示 做embedding，從而得到這個word對應的embedding。顯然，如果兩個words的conte...
刪除了也？
嗯我也有個這樣的同學 以前是我自己吃飯後來她跑來跟我吃飯 現在又說自己沒錢了要回家吃飯了感覺就是我是她召之即來揮之即去的人。所以對於這樣的人我也是有點後知後覺的。在大學裡真的不要輕易對誰好也不要對誰壞，做到平常心表面對待就好。我覺得寧願乙個人也不要兩個人三個人去。很煩也很容易被人利用。 往前走呀。有...
為什麼現在除了綜藝就是綜藝，除了鮮肉就是就奶狗，等等，怎麼就沒有乙個像樣的有深度節目？
雅佳 在一味追求經濟發展的同時，我們忘記了一些東西，在我看來這種情況還會再延續一段時間，最近的佛系到最後全員的拈花微笑還有一段時間，這段時間很重要，看看現在的日本就知道了，有一種路他們已經替我們走過了。而現在這種綜藝的特性就說明我們忘記了去發展一些帶有精神需要的事物。也並不代表全部都忘記了這件事，還...