资格跟踪算法,更新顺序

在我看来你是对的, e 应该更新 之前 theta e_t 首先使用 phi(s_t) θ 更新使用 delta V_t (这将是 delta Q 对照组)。

lambda=0 不完全正确。初始状态动作对仍将参与更新(不是在第一次迭代中,但它们将被合并到 e r 不会在任何更新中使用(因为它只出现在第一次迭代中,其中 e 仍然是 0 ). 既然这篇文章是关于围棋的,我想这无关紧要;除非他们在做一些非常规的事情,否则他们可能只会对终端游戏状态使用非零奖励。