1樓：蓮生三十二
transfomer 的自注意力機制中不同的詞之間是可以序列的，層和層之間是序列的，RNN的話當前的詞依賴前乙個詞的輸入，層和層之間是序列的
2樓：
對比一下cnn就明白了
如果cnn的outchannel是10，那麼這10個outchannel可以分給10個gpu並行算
rnn不存在這種性質
3樓：楊夕
引言：無法並行化問題
那麼，Transformer 是如何進行並行化的呢？
Transformer 如何進行並行化？
核心：self-attention
為什麼 RNN 不能並行化：
原因：RNN 在計算 $x_i$ 的時候，需要考慮到 $x_1 ~ x_$ 的資訊，使得 RNN 只能從 $x_1$ 計算到 $x_i$;
思路：在 self-attention 能夠並行的計算句子中不同的 query，因為每個 query 之間並不存在先後依賴關係，也使得 transformer 能夠並行化；
可以看一下這個，裡面有介紹這個問題
iPad 所謂的生產力到底指什麼？
CLIUDS 而我對這句話的理解是能夠創造財富就可以叫做生產力。金錢層面的收益可以是財富，工作效率的提公升導致時間的節省可以是財富，使用pad進行學習而獲得更多的知識也是財富，所以生產力這個名詞是因人而異，取決於每個人對其的理解。所以不應該以偏概全，一桿子打死直接定義pad不是生產力。我的使用模式 ...
相親時所謂的三觀相合，三觀到底指什麼，有哪些緯度，如何判定 從哪些方面能看出來
coco 所謂三觀沒有固定的模式，重要的是兩個人要談得來，能互相包容，理解，不要因為一件小事看法不同，就覺得三觀不一致，三觀要是一模一樣，那是照鏡子 小悅悅 例如，雖然你們都不太喜歡對方的逛街方式，但是因為你們彼此相愛，包容，所以你們商定了一種方式，即這一次按照你的方式逛街，下一次按照他的方式逛街，...
《馬男 波傑克》中的zoe和zelda到底指什麼性格的人？
十月知櫻 其實之前我一直覺得 Zoe and Zelda 的梗是被過度解讀了，到現在，看了新一季的內容，回頭才發現，這才是整個劇集的核心。Zoe永遠只能迎合Zelda，而Zelda永遠不能理解Zoe。有時忍不住會想編劇到底是乙個什麼樣的人，為什麼要寫這樣乙個劇集。精彩的台詞很多，描述著看起來很有道理...