梳理MDP、值函数、Bellman 方程、RL、PPO之间的关系（一）

1907年，俄国数学家马尔可夫Markov提出了“序贯决策”问题，即按顺序连续进行决策，1957 年，由 Richard Bellman 正式建立了 MDP 的数学模型框架，并以 Markov 命名。MDP是对“序贯决策”问题的数学描述，其形式为：
五元组 M=⟨S,A,P,R,γ⟩
S：状态集合
A：动作集合
P(s′∣s,a)：状态转移概率
R(s,a)：奖励函数
γ：折扣因子
五元组完整刻画了“环境与智能体交互的规则”，并假设未来只依赖当前状态这一概念，但本身不包含任何“怎么算”的信息。MDP 像一张地图：标出了所有城市（状态）、道路（状态）、过路费（奖励）。

有了地图就需要研究什么样的行动策略最好，有科学家开始提出值函数的概念，并将普通值函数定义为：给定策略π，从状态s出发，按策略π走，未来折扣奖励的期望总和,其公式为无穷和的形式：
此时还不知道 Vπ(s)的具体数值，只是定义了它是什么，并且k无穷大。

1960 年，Richard Bellman围绕值函数提出Bellman期望方程，作为求解 MDP 问题的具体方法，其核心思想为：一个状态的价值 = 即时奖励 + γ下一个状态价值（即打折扣）。V(s) 依赖 V(s′)，V(s′)又依赖 V(s′′)，这是一种递归的思想，将一个东西的定义或计算过程中，又用到了它自己。只要设置终止状态，明确递归结束条件，或设置γ<1，越往后值越衰减，最终收敛，因此可以有效求解状态无穷大问题。

上述过程讲的是普通值函数的求解，策略π是不变的。接下来讲最优值函数，策略π可以变，通过尝试不同策略，找到最优策略。

比如尝试不同策略π1、π2…πn，找到一个全局策略 π∗ ，使得在每个状态 s下，按该策略行动能达到最优期望回报V（s）。这里多说一点，有人试过将不同策略逐状态拼起来，s1​单独用策略 π1最好，s2单独用策略 π2最好，拼起来发现，最后并没有得到最优回报，因为值函数是递归的，状态是相互影响的，策略的改变会影响后续状态分布。
有了最优值函数，同样采用递归思想，推导出Bellman最优方程: