名称公式一句话作用
回报Gt = Σk≥0 γk Rt+k+1要最大化的目标
状态价值vπ(s) = 𝔼π[Gt | St = s]「站在 s 有多好」
动作价值qπ(s,a) = 𝔼π[Gt | St=s, At=a]「在 s 做 a 有多好」
贝尔曼期望方程vπ(s) = Σa π Σs′,r p[r + γvπ(s′)]评估给定策略(线性,可解)
贝尔曼最优方程v*(s) = maxa Σs′,r p[r + γv*(s′)]刻画最优价值(非线性,一般靠迭代求解)
矩阵解vπ = (I − γPπ)−1 Rπ理论闭式解,成本 O(|S|³)
策略评估V ← TπV反复备份到收敛
策略改进π′(s) = argmaxa qπ(s,a)贪心,保证不变差
策略迭代评估到收敛 → 改进 → 重复外层轮数少,每轮贵
价值迭代V ← T*V评估只做 1 步,实现最简
压缩性‖TV − TU‖∞ ≤ γ‖V − U‖∞评估与价值迭代收敛的地基
误差界‖Vk+1 − v*‖ ≤ γ/(1−γ)·‖Vk+1 − Vk‖只用相邻两轮就能算,不必知道 v*
停止阈值θ = ε(1−γ)/γ保证 ‖V − v*‖ ≤ ε(策略 ε-最优需再除以 2)