1樓：CAllmeJyEo
找規律，寫詞語：
1.生死、優劣：天地、黑白、老少、前後（前後是反義詞）
2.明白、抬舉：奔騰、長久、醜陋、疼痛（前後是近義詞）
2樓：霍華德
太久沒輸出乾貨了，今天來輸出一波。這個話題太大了，就談一點，glove模型的致命缺陷。
在glove模型中，對目標詞向量和上下文向量做了區分，並且最後將兩組詞向量求和，得到最終的詞向量。模型中最大的問題在於引數 也是可訓練的引數，這會帶來什麼問題呢？
看下面的證明：
也就是說，對於glove訓練處的詞向量加上任意乙個常數向量後，它還是這個損失函式的解！這就是很大的問題了，一旦在詞向量上加上乙個很大的常數向量，那麼所有詞向量之間就會非常接近，從而失去了詞向量的意義。實踐中可以發現，對於glove生成的詞向量，停用詞的模長遠大於word2vec詞向量的模長。
如果下一步，你不過濾停用詞，直接把幾個詞向量加起來求和用作其他任務時（如文字分類），停用詞的詞向量在求和詞向量中佔得比重還比較大，這明顯很不合理。
可以看出glove這個模型，有借鑑推薦系統中的FM（Factorization Machines）的思想，在推薦系統中，引數 代表使用者對特定商品的偏好，用乙個偏移量來描述是合理的，但直接應用到詞向量中，就不是很合理了。word2vec裡是沒有引數 ，所以大家會覺得word2vec效果好些，應用更加普及。
word2vec和sentence2vec的真正差別是什麼？後者和簡單用詞向量累加有什麼差別？
教父1949 這兩天在試fb starspace 的sentence embedding,不知道是不是預料太少的原因，效果不咋滴。其中有個難題，如何給把語義相近的語句放在一起以便相互作為標籤 獼猴桃kk 求平均 求和 sqrtn都可以的，可以用tf.nn.embedding lookup spars...
word2vec缺少單詞怎麼辦？
匯入語料的格式不對 或者沒有正確分詞 不是二維格式，Genism缺省會將word分解成字母，從而報錯 KeyError word X not in vocabulary 有些低頻詞，被過濾掉了。可以修改過濾頻次閾值，引數 model Word2Vec min count 1 只要出現過1次的詞，就錄...
Word2vec如何解決未登入詞？
Xing Niu 你可以嘗試使用fastText。官方版本 fastText gensim版本 gensim topic modelling for humans fastText使用和word2vec幾乎一樣的演算法，但由於fastText考慮了每個詞的n gram，如果未登入詞的n gram在訓...