RL基础理论02-Diffusion Policy 范式 VLA 的 PPO 训练原理01：从 Diffusion Action Generation 到 LogProb 计算完整技术解析

《Diffusion Policy 范式 VLA 的 PPO 训练原理：从 Diffusion Action Generation 到 LogProb 计算完整技术解析》整体结构保持一致：第一章：为什么 Diffusion Policy 需要重新理解 PPO 中的 logprob第二章：Diffusion Policy 的概率建模原理第三章：Diffusion Policy 如何计算 PPO 所需的 logprob第四章：工程实现中的 Diffusion PPO（Exact Likelihood、ELBO、Surrogate LogProb）第五章：Diffusion VLA PPO 完整训练框架与工程实现总结并包含10 个图标题文本，格式：图 1｜传统 Gaussian Policy 与 Diffusion Policy 的概率建模方式对比图标题只提供文本，不生成图片。由于完整技术文档预计约20000～24000 字，单次回复长度会超过消息限制。我将分章节连续输出。下面开始：第一