1樓：dodo
回溯圖的表述我覺得很到位，因為backup diagram繪製的就是根據bellman equation遞迴計算v(s)的計算資料流向。backup也可以直譯為支撐，證據支撐結論的支撐。比如，從計算順序上來說，v(s)依賴於v(s)的successsor states，successor states的value支撐了v(s)的value
2樓：張楚珩
參考Sutton的RL書。個人認為backup這個詞的直譯「備份」確實不能反映其實質，這個詞應該是a value backed up to be another target value，因此更像是「更新」（update）的意思。個人建議是直接說backup不要翻譯了。
但為什麼不說update呢？因為，說update就更像 這種操作，而很多地方是做 這種操作。
另外有個概念叫做backup diagram，它是反映演算法裡面價值函式每個數值的更新如何依賴於其他的數值或者取樣。貼張圖感受一下。
強化學習中的reward function為什麼要取期望？
首先明確三個不同的概念 reward，return 和 value。Reward的定義為 每個狀態下執行action後立即 從系統以外的環境 獲得的評價性響應，必須直接對應RL學習的最終目標。Return的定義為 累積的未來reward。式中含有衰減係數 Value的定義為 從狀態 開始，一直遵循p...
強化學習中，model based 方法與 model free 方法各有哪些優缺點？
躺平之王 以下個人觀點。優缺點1.mf.higher asymtotic performance 漸進性能 lower sample efficiency 2.mb.higher sample efficiency,lower asymtotic performance.造成這樣優缺點的原因是 2....
建築學中怎麼理解空間這個詞？
teikou 瀉藥 玄學。換成 場所 可能好理解一點。不要想的太複雜，對應的功能應該有對應的場所，對應的場所應該有對應的氣質，氣質是你想賦予場所的情感。舉個栗子，哥德式教堂，超尺度的空間，顯示人的渺小，壓制人性，十字平面盡頭，一束聖光灑在耶穌的雕像上，凸顯上帝的光輝。換個場景想象一下，在自家客廳放個...