1樓：馬東什麼
........pre_training 先用別的大量的語料資料預先訓練出通用性強的詞向量然後根據需要進行微調或者直接應用到具體任務上去， google搜尋nlp pretrain 答案一大把
2樓：扁豆燜面1.0
首先，詞向量指的是一組用來表示單詞的低緯稠密向量，這裡的低緯稠密是和onehot的高維稀疏對應的。
那麼怎麼得到這些低緯稠密的向量呢，就是通過定義乙個具體的任務，word2vec, fasttext等等，訓練乙個嵌入層，然後用嵌入層的某一行代表特定單詞，得到這個嵌入層的過程就是預訓練詞向量。
具體說到作用，就是可以比onehoe, 詞袋子等方法更好的表示乙個單詞
3樓：雨夜天空
詞向量是指用一組數值來表示乙個漢字或者詞語，這也是因為計算機只能進行數值計算。最簡單的方法是one-hot，假如總的有一萬個詞，那詞向量就一萬維，詞對應的那維為1，其他為0，但這樣的表示維度太高也太稀疏了，所以後來就開始研究用乙個維度小的稠密向量來表示，現在的詞向量一般都128，200或者300維，就很小了
預訓練指提前訓練好這種詞向量，對應的是一些任務可以輸入詞id，然後在做具體的任務內部訓練詞向量，這樣出來的詞向量不具有通用性，而預訓練的詞向量，是在極大樣本上訓練的結果，有很好的通用性，無論什麼任務都可以直接拿來用
4樓：SmoothNLP
你真的了解了詞向量?
先看圖一:
詞向量顧名思義, 也就是把沒給詞(w)用乙個固定維度的向量(V)來表示
從網路結構和線性代數來看: 詞向量是通過, 對詞的encoding 點乘上 Embedding Matrix (圖二中的hidden layer).
BERT預訓練出的詞向量是靜態的嗎？
Joeyfulness bert不是乙個dictionary，而是乙個model。從bert獲取embedding需要給出相應的input，即單詞和上下文。所以如果input不一樣，output自然也不一樣。 張騫 Bert的根基就是Transformer，那麼其實在編碼的過程中乙個叫encodin...
NLP中建立的訓練集詞表 字典 的目的是什麼呢？和已經預訓練好的詞向量之間有什麼關係？
阿良 首先明確題主的問題 為什麼我們要構建訓練集的詞表 字典 這個詞表和已經訓練好的詞向量之間的關係是什麼？為什麼要構建訓練集的詞表？構建詞表的目的是對字串表示的詞進行向量化。因為當前的自然語言處理模型都是基於統計機器學習，只能在數學上進行各種計算，這樣就勢必要求將字串表示的文字數位化。假設我們有一...
「 Launch Trailer 」 是什麼型別的預告片啊？應該怎麼翻譯啊？
許先哲 是遊戲正式預告片，可翻為正式預告。launch trailer普遍適用於遊戲，電影預告據我所知不常用這個詞，電影正式預告一般只會用official trailer。launch trailer包含的內容一般是遊戲背景故事的剪輯展示和play畫面的展示，外加發布日期。在廠商發布launch t...