如何理解word2vector不能解決多義詞問題bert可以解決多義詞問題

1樓：wei lu

word2vector生成的詞向量是靜態的，比如蘋果這個詞，可能指吃的蘋果也可能指蘋果手機，而bert在生成詞向量時是根據上下文產生的，比如，「我要吃蘋果「和「我要買蘋果手機」，同乙個詞在不同的上下文下產生的詞向量大概率是不一樣的，因此能夠解決一詞多義問題。

2樓：西南交一枝花

首先，是依據動態性表達確定是否能夠解決一詞多義。從語言層面來講，我們所指的乙個詞由多個義是指在不同的語境下，這個詞表示不同的意思，語境就是我們常說的上下文。

舉例來說：

1. 小明剛買了乙個蘋果手機，我也要買乙個蘋果。

2.小明今天去水果店買了蘋果。

如果是靜態詞表示，蘋果最後只有乙個向量表示，需要用在上面兩句話中，明顯這兩句話中的蘋果不是乙個意思。

如果是動態詞表示，得到的詞表示不是在乙個固定詞表，而是根據不同的上下文，得到詞表示。所以這兩句話中的」蘋果「表示就會不同。

這樣就可以說該語言模型具備解決一次多義的能力。

3樓：Berkeley

是的另外這個在training階段沒有什麼太大區別主要說的是inference階段 bert可以根據輸入的上下文從而生成token的repesentation 而word2vec中每乙個token的repesentation是固定的。