transformer rnn和cnn在短句處理上哪個更好呢?

時間 2021-06-03 01:56:09

1樓:科學之友

短句的話baseline可選CNN,話說回來這三個誰對誰更好沒有絕對的優勢,這三個應該看成具有不同功能的元件。

CNN可以提取區域性特徵,如果語料裡的一些文字片段對輸出類別有很強指示性(比如位元幣,信用卡這些詞對類別財經就有很強指示性,語料有這種特徵時CNN效果好)

RNN可以天然加入語序資訊,這個顧名思義,同時可以對前後詞之間依賴建模(雖然CNN+pool也可以捕捉依賴),比如客戶前一句話說好,後面一句話說不好,這時候rnn能捕捉這個資訊,所以看你的任務對依賴關係是否有需求

Transformer這個也是對長距離依賴建模,就是把乙個句子中各個詞之間的相似結構資訊加到模型裡,比rnn來的更直接。

實際我常用的結構是把他們拼在一起:

Embedding+biRNN+Transformer+CNN其中biRNN的目的是得到語境化的詞向量表達;

Transformer目的是加入詞之間相似結構資訊;

CNN目的是捕捉區域性指示性強的資訊。

每個層引數都可以很少,這樣各個元件就利用起來了

so that和such that和too,to的區別?

風zz 1 so that 引導目的狀語從句。意思是 以便,為了 so 形容詞或副詞原形 that 引導結果狀語從句。意思是 如此 以致 此時可與too.to.互用。2 such a an 形容詞 名詞單數 that,或such 形容詞 不可數名詞或複數名詞 that 意思是 如此 以致 3 too...

Jennie和Lisa Rosie和Jennie不合是真的嗎?

鶴映辰 假的!假的!假的!BLACKPINK成團加上練習生時期大概 將近十年的感情你跟我說她們不合?不合早就be了 DASISIANNIECYR jenlisa一起當的練習生我們看不到那段時光但是能一起承受痛苦的一定關係很好 D jenlisayyds 至於jen和rose應該比較business吧...

關於dubbo和zookeeper和solr的關係和作用?

ZooKeeper 是乙個註冊中心,採用類似資料夾目錄的方式儲存資料,儲存了已經啟動的服務的資訊,如ip 埠 介面 方法列表 版本號等,儲存成乙個URL。dubbo 是乙個分布式服務治理框架,它連線到 ZooKeeper 上查詢依賴的其他服務的資訊,然後和其他服務建立長連線。當你通過 dubbo 呼...