1樓：天天吃
對於歐式空間，position embedding的重要性以及通過mask和position embedding實現多模態的attention
參考: https://
zhuanlan /p/146454731
2樓：李韶華
新鮮出爐的slides。知乎沒辦法匯入ppt，就傳圖了。
（Slides已上傳到baidu網盤: https://
提取碼 aq5i）
3樓：
其實，特徵提取+訊息傳遞調整概率這個思路本身肯定是通用的，所以用乙個前置的特徵提取加上transformer來完成這個任務是很合理的。現在的主要問題是細節，什麼樣的transformer 結構適合去提取影象資料的結構/語義資訊。
所以，能做出來也是情理之中，不過如果可以看一下transformer中究竟在哪些溫度上去發掘了資料的結構特徵，要能像CNN一樣開啟看看transformer就好了
4樓：
看到有一些觀點關注在二維flatten成一維上，在這裡也發表下自己的觀點。
對於trsfmer而言，其主要模組就是(self)attention，所以其乙個重要特性其實就是順序無關性。本質上一系列步驟是計算相關，然後加權求和，一維和二維沒有區別。（當然一維方便套輪子）。
如何看待風水？
北風遇海 說實話，我對這種東西本來是嗤之以鼻的 但是我母親去上了省委黨校的遞進班培訓後，居然告訴我他們要專門學這個風水，說是人體是個小宇宙，被一層磁場包裹，和大宇宙有什麼呼應云云 為防大家嗤之以鼻，我就說下，母親是某省廳的黨委書記，副廳級別，而省委黨校的遞進班是要過考的，同時他們的師資配備是從同濟大...
如何看待DARLING in the FRANXX第二集？
郁仁 明明都是喜歡的元素，可為什麼就是讓我開心不起來。才放了兩集。少年少女，超級系機械人，末世與牢籠，隱約覺察到的社會實驗，背後的集團及其目的，NERV的長電梯，還有。性暗示。好吧，是性暗示，使我焦躁與自我困惑的，是明明放在別的番里也許會引我或捧腹或莞爾的性暗示。未成年人，已然物化了的少女，處於上位...
如何看待魯迅？
不請自來 剛剛在看有關鄭振鐸先生藏書的經歷，看到了這個，應該發出來讓大家知道看到這段文字，心裡就想，原來魯迅先生是那種在朋友面臨問題時會記在心裡，在背後默默替朋友解決問題的人啊 不要臉的說一句，其實我也是這種人，所以魯迅先生在我眼裡更親切了 白雲出岫 真實的魯迅是痛苦的。後世或許可以為他塗上一層金身...