Markov Decision Process 為什麼用到discount factor

1樓：蒼溪

引入折扣因子是為了讓價值函式V(s)或者動態價值函式Q(s,a)在Infinite Horizon環境(沒有終止狀態的環境)下有界。實際上，對於Finite Horizon環境(環境到了指定步長後結束回合)，也可以不用折扣因子。

如果沒有折扣因子很有可能是無窮大的。如果是Return是無窮大的，就難以定量研究價值函式V(s)或者動態價值函式Q(s,a)。

引入折扣因子後，則變得有界（只要每一步的R是有界的）。

舉個例子，R=1情況下：

引入折扣因子時，

沒有折扣因子時，

2樓：

我覺得這個折現因子，除了有經濟學上的解釋之外，還可能是對人類心理的借鑑。

心理學上有個詞叫」延遲滿足「，說的是人們有甘願為長遠收益而放棄眼前利益的抉擇傾向，對」延遲滿足「現象的檢測多用來評判兒童的智育水平，而強化學習本來就是從心理學上發展下來的概念，自然脫不了關係。

3樓：gwave

有多個原因：最簡單的回答是經濟學的淨現值概念，明年的一萬元的價值上肯定少於今天的一萬元，未來的價值都要折算為當前價值，才能統一測度；第二個原因是數學上的收斂性，如果折扣因子等於1，對於無限horizon的case來說：總回報無窮大，不好處理啊。

還有不少其他次要一點的原因。