強化學習會出現過擬合的情況嗎?如果會,一般那種情況可以判定為過擬合呢?

時間 2021-06-05 05:29:08

1樓:十年鑄一水果刀

個人認為深度強化學習中是可能出現過擬合的,深度強化學習的主要思想還是把深度學習的分類思想放在強化學習上,使agent在各種情況下(environment)可以依據之前的類似情況作出反饋,所以訓練過程和深度學習相似,個人認為深度強化學習的過擬合有兩種情況造成,乙個是訓練環境不夠完整,另乙個是引數方程不合理。

訓練環境不完整,比如說,訓練機械人上樓梯,訓練時只有一種情況就是,台階高度二十厘公尺,久而久之,agent只做到了區域性優化(local optimum),結果有可能,當測試環境台階高三十厘公尺,機械人邁出了五十厘公尺或者十厘公尺,機械人並沒有在三十厘公尺的環境下訓練過,導致函式沒完全優化。

引數方程不合理是在引數方程中帶入了過多或過少不合理的引數,導致區域性最優,比如機械人上樓梯,引數應該是樓梯高度,機器目前的位置,速度等引數,但是如果加入了非相關變數,如溫度,亮度等,就會變成noise,影響函式優化。在測試過程中帶來不好的影響。

深度學習中,小樣本會出現過擬合的問題,那麼小樣本過擬合的準確率是否是必然高於大樣本非過擬合的準確率呢?

雨落晨曦 如果小樣本和大樣本屬於完全同樣的分布,那麼 如果小樣本上都達不到好的結果,是不是說其在大樣本上也必然達不到好的結果 是乙個正確的結論。並且小樣本過擬合大樣本同樣會過擬合。然而在一般問題中,即便小樣本是大樣本的均勻抽樣,也不能在有限抽取次數內達到完全一致的分布,這就意味著小樣本的訓練結果並不...

你們電腦端的wps會出現這種情況嗎?

小文太刀 不會,我的wps一向很輕快,執行速度秒殺office。這些是有一些前提的,就是wps裝到D盤 我的電腦有兩個分割槽 使用者目錄也設定到D盤,關閉wps廣告和熱點推送,禁用一些wps自啟動項。自動備份是乙個很有用的功能,值得保留,但是要定期清理備份檔案。自動上傳檔案,就是wps雲文件,這簡直...

出現過地鐵列車進錯站台的情況嗎?可能出現嗎?

盤石龍 一般情況下是不會的,地鐵執行一般都是通過電腦控制的。道岔的改變 訊號的顯示 機車的調速等等這些大部分都是電腦計算去控制,所以地鐵出現1號線站台進入了2號線列車這種情況是微乎其微的。 已登出 不存在的,中國大陸的地鐵線,紅的線路跑紅車,綠的線路跑綠車。借調有,但極少發生。寧可少發車,不發車,也...