如何評價 2018 年的 Kinetics 比賽資料集出現重大疏忽導致洩漏全部標籤?

時間 2021-05-05 17:28:17

1樓:何山炮

在此之前就發布了乙個錯誤的訓練,驗證跟測試集合。有一半的驗證集合資料出現在訓練資料中。折騰了乙個禮拜發現官方重新進行了資料劃分。。。

然後,又發現新劃分的測試集有一半包含在之前錯誤劃分的訓練跟驗證集合,相當於已經洩露了一半的標籤。。。而且之前訓練的模型全部需要丟棄。。。而這一次有人發現整個標籤都洩露了。。。

我也對他們真是無語了!不過之前我發現有一半的標籤洩露的時候給組織者發過郵件,他們的回覆是: 相信參賽者不會作弊。

反正我覺得大家應該會自覺的,我是一直堅持不使用測試集的標籤進行任何調參的。

2樓:

今年的比賽真是不太平,隔壁wider pedestrian比賽換了好幾波資料還總是標不好,eval指令碼慢出翔,心累。。。

3樓:

補刀,不只是測試集label有規律。發布的兩個版本的資料集都有問題。總而言之,deepmind在這個專案上的態度非常不認真。

除非發布新的測試集,否則成績肯定不可比,因為無法檢查是否用過groundtruth

4樓:

大家應該冷靜下來,自己跑出來的結果該是什麼就是什麼,畢竟之後要交technical report。

至於已經提交 100% top1 accuracy那位,拿出讓大家信服的一些方法說明就好。

有熟人,匿乙個

如何評價2023年的RNG?

果繽紛 就差乙個比賽就大滿貫了,說實話夏季賽決賽看的真讓人心驚膽戰的。我是讓男的粉絲,覺得他很苦逼,其實不遜於很多一流上單,但仍然被嘲笑是在報小狗大腿。小虎也一樣。 西荼 當某一人被針對 被壓制的時候,總會有隊友站出來,2018的rng太難被針對了,你想贏嗎?你想全面壓制rng嗎?來吧!王對王戰一場...

如何評價張雨鑫的2023年

我的48fun 經歷第一次重組後,慢慢像她所說的那樣成為了N隊的中間力量,大TOP都不在的時候,她成為了小後輩可依賴的物件。18年叉叉身邊的人來來走走,對她這種重感情的人來說是乙個不小的打擊。每次直播都插科打諢的,有難過的事也是笑著說過去了,希望2019年叉叉能有個好成績,喉頭得的息肉手術要趕緊安排...

如何評價2023年傑尼斯?

爆出來的事,只是因為它被爆出來了,不是它之前沒存在,演藝圈那麼亂,你真當自己的偶像是小天使啊。與其鬱悶為什麼一八年那麼亂,不如分析分析傑尼斯是不是出問題了。 澀谷昴退社是追求自己的夢想,還是不要跟違法犯罪事件放一起吧?至於山口達也和n團三人就是自己作死害到其他無辜門把,尤其某人誣陷前輩對前輩不尊重完...