安全机器人学习-25

Lecture 23：安全机器人学习（Safe Robot Learning）

二、大纲

1. 首先明确机器人学习中安全的定义：通常涉及两个差异较大的安全性概念——策略层面（Policy-wise）和状态层面（State-wise）。
2. 讨论如何实现安全以及如何保障安全，它们属于不同的方法类别：
   • 带有稳定性保证的基于模型的强化学习（MBRL with stability guarantees），这与经典控制理论类似。
   • 带有状态安全性保证的基于模型的强化学习（MBRL with state-wise safety guarantees），此时主要关注类似碰撞惩罚之类的问题。
   • 约束马尔可夫决策过程（CMDP）框架，用于研究强化学习并促进安全性。一般来说你无法保证绝对的安全，但可以对不安全的行为进行惩罚。

这是一个非常广泛的领域，许多研究人员都在从事安全机器人学习的工作，所以我今天只做简要介绍。如果想了解更多细节，我建议阅读这篇论文：

Safe Learning in Robotics: From Learning-Based Control to Safe R