BERT MLM輸出層引數為什麼要復用token embedding層的引數？不復用的話，效果更好？

1樓：鍇鍇不孤獨

可以看一下上面這篇文章，簡單來說就是如果是預訓練的話，完全可以不復用，因為資料足夠多。

優勢是增大輸出層的embedding維數（也可以理解為是預訓練的輸出層）有利於緩解過擬合，提高在下游任務上的表現。

同時增加輸出層embedding維數並不會提高fine-tuning時候的參數量，因為fine-tuning的時候這部分引數被丟掉了，當然現在可以考慮是否能夠通過保留這部分引數來提高prompt-tuning的表現（需要對比等量引數加寬或者加深transformer骨幹的效果和這乙個哪乙個更好）

2樓：百川

首先看token embedding做了什麼事情：token embedding層本質是全連線網路，將輸入向量（seq_len, vocab_size）隱射到輸出向量（seq_len, hidden_size）。

再看輸出層中，token embedding做了什麼事情：bert的輸出（seq_len, hidden_size）通過token embedding隱射到向量（seq_len, vocab_size）

結合來看，一方面（主要）是引數復用，另一方面也有點通過token embedding來還原vocab的味道。至於不復用，是否效果會更好，還得看實驗，這個token embedding的參數量對於整體bert的模型容量影響很小，預感效果差別很小，但是優勢是引數少。