adversarial training為什麼會起作用？

1樓：

網路的乙個問題是在高維空間中靠有限的訓練資料來構造模式的分類面，會出現由於資訊不足導致在某些維度上分類面誤差很大。對抗訓練的關鍵就是找到這些分類面有明顯誤差的維度並進行修正。

2樓：

直觀上來講，可以打個比方，有時候學乙個知識點，會做一些簡單的題目，你以為自己會了，可是題目難度上來一點，就發現其實沒理解。深度學習方法中的一大問題是損失函式太「膚淺」，只能衡量一些很表面的誤差，就像那些簡單的題目。比如交叉熵，實際就是衡量鸚鵡學舌的能力。

而對抗學習，以及GAN，實際上都是度量學習的思想，既然現在的損失函式不好用，那麼利用神經網路學習出乙個更好用，更深刻的損失函式來，類似於加大題目難度，從多角度評價對知識點的理解。就像廚師只有懂得如何而評判什麼菜是好吃的，才能作出好吃的菜來。

不揣冒昧，再寫兩句，懇請大家指正。上面說要加大「題目的難度」。那麼如何加大？

就把已經發現的特徵全部抹掉，逼迫模型去發現新的特徵。這就像adversarial training裡面加上反向梯度的過程。

或者說不定也可以從優化的角度理解，既然模型處於某個區域性最優，那麼就把這個勢阱抹平。

或者可能也可以從泛化的角度看，即演算法應該對標記資料點的鄰域內的新資料點保持結果的一致性。存在這樣性質的鄰域相對大小越大，那麼演算法的穩健性應該越好。adversarial training可以看做是鄰域的一種構造方式。

如何構造最有效？就是梯度上公升最快的方向最有效。