Attention機制可以應用在影象分割的改善中嗎?

時間 2021-05-05 20:42:04

1樓:

我說說我對attention的理解吧。

Attention有兩種,一種是新增先驗來引入attention,比如你想分割乙隻狗,你可以先檢測出這只狗的bbox後再對這個bbox內的狗進行分割,這就是attention,這個attention是在訓練階段人給的先驗(Bbox),這個實際上也是mask RCNN的做法。

另外一種是通過設計特定的網路結構來加入attention,比如lstm中的attention,就是通過複雜的設計來引入attention。理論上網路自身就有attention的能力,但這只是理論上,如果我們可以設計更好的網路結構是更有利於網路學習的。

人為引入先驗相當於引入了更強的監督資訊,網路通常會表現更好,換句話說,你教給它的越多它能力越強。但代價是你得提供更多標註資訊。

而通過網路設計來引入attention則不需要你提供更多標註資訊,但效果通常也比不上人工attention。

attention 機制如何進行transfer learning?

王晉東不在家 我沒做過基於attention的transfer,就用最經典的attention做遷移的文章來拋磚引玉一下吧。這方面最經典的就是ICLR 2017的文章 PAYING MORE ATTENTION TO ATTENTION IMPROVING THE PERFORMANCE OF CO...

機制砂可以替代水洗砂嗎?

小不點 這種砂子都可以用於建築骨料,不能說完全替代。水洗沙 指河道裡的沙子或者老河床上的沙子通過水洗分類,分離出各種等級各個規格的沙子。機制砂 指的是由機械破碎後的粒徑小於4.75mm的岩石顆粒。其主要分為花崗岩 鵝卵石 石灰岩 建築廢料等,經過製砂機加工而成,其沙子質量高,符合建築用砂標準,而且還...

細胞自噬機制目前在應用方面的研究進展是怎樣的?

Yan Gu 總之他的發現和成果類似於教科書的存在吧,現在我們知道自噬機制的啟動可以快速的給細胞提供能量和更新。在細胞被病毒或者細菌感染的時候他們也可以通過自噬來抵抗入侵者。同理細胞也可以用這個機制來淘汰不健康或者被損壞的蛋白和細胞器,如同乙個靠譜的質量檢查員一樣.所以理論上來說的話如果完美的掌控了...