如何評價最新的例項分割模型BoxInst 僅通過box標註就在COCO資料集上達到33 2AP?

時間 2021-05-06 14:53:12

1樓:

主要是那兩個損失函式,第乙個投影損失比較直觀,本質上來說和傳統的box損失差不多。

第二個損失比較優雅,把影象分割用乙個Graph來表達,然後根據顏色相似度計算邊的權重。這個損失可能很多沒經歷過傳統計算機視覺時代的朋友們會覺得很神奇,其實如果學過傳統分割方法,這個是再自然不過的思路了。

沒有深度學習的時候,就是把畫素當成vertex,畫素之間建立edge,然後設計乙個巧妙的energy進行凸優化做影象分割的。這個文章本質上來說,相當於使用基於Energy optimization的傳統分割方法來supervise乙個神經網路,把這個Energy直接當作神經網路的優化目標。

這也意味著,除了文中的損失函式,許多前深度學習時代傳統分割方法的Energy函式都可以拿來用,比如可以加上一些smoothness的損失啊啥的,二十年前那些經典模型的Energy統統都找出來給他安排上。色彩相似度這一塊也有很多文章可做。按照這個思路,應該還有一些提公升的空間,不知道作者會不會繼續做下去,期待有人發掘一下故紙堆。

2樓:Bluebear

這個Pairwise Loss隱含著對區域內顏色做了個聚類,隱含著對目標區域和周圍區域隱含著做了個顏色聚類,對於周圍背景區域多的顏色從BBox內找相似的作為負樣本,目標區域內多的顏色做正樣本,由於資料足夠多,可以理解這個正負樣本區別,從而實現了分割。至於顏色相似度閾值=聚類數量。

前段時間和數學系朋友聊過乙個親和性分割應用的演算法,但實在沒找到好的工具,優化也就作罷了。感覺這個設計很巧妙呢。

3樓:羅楊

emmmmm....... 雖然想法很簡單。但是沒太看明白(太菜了)

第一: 蠻想知道那個 的設計想法的。同號為正不太能理解why

第二:最後分割的score map是那個 嗎??????

如何評價 Kaiming He 最新的 Mask R CNN

誰說FPN是誰誰誰發明的。很早之前有個artist在自己的主頁上用tf做image colorization的時候就用了這個網路結構了。這個FPN完全就是轉殖人家的結果啊。 taokongcn 謝幾位童鞋邀,本身自己是做這個方向的,最近忙著開題的事情,也沒來得及回答。對於Mask R CNN其實沒什...

如何評價 MSRA 最新的 Deformable Convolutional Networks?

張健煒 感覺最後,神經網路領域會有新的方法,會使得 data preprocess random crop,flip,random rotate,color change,變得不再需要。stn和 deformable convolution networks 讓這個目標變得更近了。 unsky un...

如何評價最新的YOLOv3?

曦微 講一點缺點 對特別多的特殊姿勢 360 每個角度物體都有它不同的旋轉角度後的姿態 並且遮擋嚴重的小物體識別效果不佳,我不知道為什麼特別得要用矩形去標註,但我覺得這可能讓在以上兩種情景之下的識別環境變得複雜,識別率一般。具體的,由於多角度旋轉和遮擋嚴重,實際識別它總會識別出更大的範圍,在它的理解...