1樓：王晉東不在家
我沒做過基於attention的transfer，就用最經典的attention做遷移的文章來拋磚引玉一下吧。
這方面最經典的就是ICLR 2017的文章《PAYING MORE ATTENTION TO ATTENTION: IMPROVING THE PERFORMANCE OF CONVOLUTIONAL NEURAL NETWORKS VIA ATTENTION TRANSFER》：
基於attention後的activation進行遷移，文章叫做ACTIVATION-BASED ATTENTION TRANSFER。大概意思就是說，在將所有的通道資訊通過attention後，源域和目標域的網路單元啟用值存在相似關係。因此，要對這些單元進行資訊的遷移。
這可以由以下的損失函式來描述：
其中的 和 就分別是source和target的相應單元的啟用值。
第二種是基於attention後的梯度的遷移，文章叫做GRADIENT-BASED ATTENTION TRANSFER。大概意思是說，attention後的梯度更新過程可能存在某種聯絡，因此要把梯度的差異也計算入正則中。表示如下：
其中的 和 就分別是source和target的梯度。
Reference:
Zagoruyko S, Komodakis N. Paying more attention to attention: Improving the performance of convolutional neural networks via attention transfer[J].
arXiv preprint arXiv:1612.03928, 2016.
Attention機制可以應用在影象分割的改善中嗎？
我說說我對attention的理解吧。Attention有兩種，一種是新增先驗來引入attention，比如你想分割乙隻狗，你可以先檢測出這只狗的bbox後再對這個bbox內的狗進行分割，這就是attention，這個attention是在訓練階段人給的先驗 Bbox 這個實際上也是mask RCN...
如何進行考研？
是春天的風啊 考研的時候需要提前去了解一些訊息，掌握得越多對自己就越好。首先你要選是本專業考研還是跨專業考研，本專業會容易一點，跨專業就比較難 然後你要選幾個你心儀的院校，還要看看每年的報錄比，看看你要考的專業在那個學校有沒有什麼限制，這些都看好了就看看自己考英一還是英二，專業課要準備哪幾本書，多關...
如何進行臥室改造？
貓的第九次是死亡 這個問題我有發言權，每天睡在我的智慧型臥室，不知道有多滿意，舒服到都不想出門了。實話說，當時決定進行臥室改造，是因為臥室是我待的時間最長的地方，畢竟自己特別懶。那作為乙個懶癌患者，我的終極夢想是讓自己的生活更舒適便捷，這不，了解了智慧型家居以後就心動了，前段時間將臥室的家電全部公升...