1樓：幕落
機器翻譯單純的從模型的角度出發，而不增加對抗樣本，還是很困難的。神經網路模型無法學習到資料中沒有的資訊，不具備推理能力，讓模型學到從無到有的知識這對神經網路來說是不大可能的。lmesbg給幾篇關於神經機器翻譯魯棒性的文章本質上還是怎麼提供更好的對抗樣本。
2樓：
如果把模型魯棒性看作對不同模式的分類面的確立的準確性，那麼顯然這個問題和對抗樣本有關，和我們如何確立分類面位置有關。對於深度網路而言，決定分類面可靠性的不外乎網路結構，問題資料空間，訓練資料和優化演算法三方面，其中問題資料空間決定了實際分類面的分布特徵，訓練資料決定其提供的資訊是否是分類面的充分統計量，而網路結構和訓練過程決定對分類面的引數估計。 這幾個方面都對魯棒性有影響，但是我們能掌控的只有訓練資料，網路結構和訓練演算法，我們無法控制資料空間本身。
訓練資料的主要問題是不能提供分類面或者模式的充分統計量，特別是在高維空間的有限訓練資料量，是大概率存在對抗樣本問題的，網路結構也是重要因素，網路結構和問題不匹配也會帶來對分類模式估計的誤差。在這兩個關鍵因素上，我們控制起來更方便的是訓練資料，所以要麼擴大訓練集，要麼採取對抗訓練。而對網路結構的優化來改善魯棒性，一般而言是困難的，因為這要針對資料特徵進行設計，在資料不充分的前提下，這很困難。
什麼是「魯棒性」？
魯棒性 英文單詞是robust 形容詞adj.含義是 強壯的 健壯的 什麼叫系統或者程式的 魯棒性 呢？說說我的理解 魯棒性 原是統計學中的乙個專門術語，從上世紀70年代初開始，逐漸引入到控制理論的研究中，用以表徵控制系統對特性或引數擾動的不敏感性。就是系統的健壯性。它是在異常和危險情況下系統生存的...
隨機優化 魯棒優化和分布魯棒優化有什麼聯絡和區別？
黃土西風 Rahimian,H.and S.Mehrotra.Distributionally Robust Optimization A Review.ArXiv abs 1908.05659 2019 Distributionally Robust Optimization A Review 優...
學習 思維模型學習 13不平衡性思維模型
時光荏苒 溺愛更多時候會讓孩子變得自私。家裡吃飯的時候，有什麼菜他特別喜歡，就拿到自己面前乙個人吃，家長也不阻止這個行為，孩子漸漸就會以為是理所當然，會慢慢慢自私 當小朋友手上有吃的，家裡有其他的小朋友也在，家長偷偷讓他在房裡自己吃，告訴他拿出去，別人小朋友就會吃完，這樣小朋友只會吃自己的，吃別人的...