seq2seq模型 和 encoder decoder模型有什麼異同?

時間 2021-05-06 17:57:25

1樓:ZJU某小白

顧名思義,seq2seq是序列到序列的建模,是一種應用場景而不是某個特定的技術或者模型。RNN可以做seq2seq,CNN也可以做,transformer那樣只用attention和全連線的也可以。

encoder-decoder(編碼-解碼)指的則是seq2seq中的一種更細節一點的建模技術。在seq2seq的場景中,輸入輸出維數一致時可以直接進行序列建模;否則一般方法就是設計encoder把輸入變成特定維度的中間變數,再設計decoder把中間變數解碼為模型輸出。

通常而言,編碼-解碼的建模方案能夠提公升建模的靈活性,加上attention後模型的資訊容量也足夠大。

2樓:黃一

S2S可以粗暴理解為序列到序列模型,輸入是乙個序列,輸出是乙個序列。序列本意是特指有前後關係的資料,現在可以是一切shape能和模型對上的matrix。

ED框架是用於處理序列到序列問題的,是現在主流框架,特指同時具有encoder模組和decode模組的結構。

3樓:小蓮子

Seq2Seq是RNN中的一種,特指網路的輸入和輸出都是「變長序列」。主流的Seq2Seq都是基於Encoder-Decoder來實現的,當然也有另闢蹊徑想開宗立派的,比如 Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction。

個人理解,沒有必要太區分這兩個概念,在目前階段是不分彼此的。

seq2seq 中的 beam search 演算法過程是怎樣的?

可看著閹割版的維特比演算法,它更一般,維特比和貪心的greedy search可以看做它的特例 假設建模單元個數為n,beam size為k,解碼需要的時間步驟為t 1 如果k 1,即為greedy search,時間複雜度為O t n 2 如果k n,即維特比演算法,時間複雜度為O t n n 此...

2模考差了,陌生人能給點鼓勵嗎?

與狼共舞 順利也好,失敗也罷,這些都是練習的過程,這取決於你是否願意去尋找其中的意義,取決於你要怎麼樣去做選擇,是如同勇士去行動,還是像傻瓜一樣去做反應。過去已經過去,未來還未來,所以一切都是充滿變化的,你可以選擇做勇士還是當傻瓜,如果沒有那個勇氣,那拷問一下自己的內心,我們到底在怕什麼?恐懼是否源...

科二每次模考都是滿分 正式考試就掛科 考2次了 每次的第二次機會都沒心態隨便掛 怎麼調整心態啊 哭了

雙智 你這個掛科我覺得應該是太放鬆了,注意力不集中造成的。很多掛科是太緊張了,動作變形做不到位掛科,你這個是太放鬆了動作也沒到位吧。回憶一下你掛科的時候的問題所在,然後,再去考第二次。別一掛科就急著繼續考,這樣很容易再次掛科。 螢火蟲 跟它決一死戰,當你真正不怕失敗的時候,就覺得第二次也不過是再開一...