晨光

Bilingual Paper Reading · 中英对照精读

约束与奖励并重的机器人学习：腿足机器人运动控制中的应用

准大一 · 机器人工程 × 强化学习 × 腿足机器人 —— 约束强化学习精读材料

原文：arXiv:2308.12517 2023年8月24日发布 arXiv 预印本（cs.RO / cs.AI / cs.LG）约束强化学习 × 腿足机器人 × 仿真+真机验证附英文摘要朗读音频

一、论文档案

英文标题Not Only Rewards But Also Constraints: Applications on Legged Robot Locomotion

中文标题约束与奖励并重的机器人学习：不只奖励，还有约束——腿足机器人运动控制中的应用（中文短名：约束与奖励并重的机器人学习）

作者Yunho Kim, Hyunsik Oh, Jeonghyun Lee, Jinhyeok Choi, Gwanghyeon Ji, Moonkyu Jung, Donghoon Youm, Jemin Hwangbo（机构未在素材中标注）

发布时间2023年8月24日（v1）｜分类：cs.RO（机器人）/ cs.AI（人工智能）/ cs.LG（机器学习）

原文链接arxiv.org/abs/2308.12517　·　全文 HTML 版

一句话概括与其把十几个奖励项反复调权重，不如把「必须满足的硬性条件」写成约束——只调一个奖励系数，就能训练出在复杂地形上稳健行走的腿足机器人控制器。

💡 为什么选这篇给你：① 腿足机器人（四足/双足）是当下机器人最热的方向，波士顿动力、宇树科技都是代表；② 思想简单有力——「奖励负责引导，约束负责兜底」，把强化学习里最痛苦的奖励调参环节大幅简化；③ 在 6 台四足 + 1 台双足机器人上做了仿真与真机实验，故事完整、可复现，还是该方向的经典工作。

二、核心术语表（先扫一遍再读正文）

英文术语	中文	大白话解释
reinforcement learning (RL)	强化学习	让智能体（如机器人）通过与环境反复试错交互、根据奖励信号学习最优行为的学习范式。
model-free reinforcement learning	无模型强化学习	不建立环境动力学模型、直接靠交互数据学策略的强化学习，适合接触多、不确定性大的机器人系统。
neural network controller	神经网络控制器	用神经网络把「机器人观测」直接映射成「控制指令」的控制器。
reward engineering	奖励工程	设计奖励项并调权重的手工活——奖励项常超过十个，调参极其耗时，是 RL 训练机器人最大的痛点。
reward term / reward coefficient	奖励项 / 奖励系数	奖励项描述一个期望（如走得快、姿态稳），奖励系数决定它在总奖励里的相对权重。
constraint	约束	策略必须满足的硬性条件（如关节角度限制、步态模式），把解空间限制在工程师期望的区域内。
constrained RL (safe RL)	约束强化学习（安全强化学习）	在满足约束的前提下最大化奖励的强化学习分支，本工作借鉴其算法思想。
policy	策略	「看到什么状态 → 采取什么动作」的决策规则；训练控制器就是在学一个策略。
policy optimization	策略优化	不断更新策略参数、让累计奖励上升（同时满足约束）的优化过程。
locomotion controller	运动（步态）控制器	控制机器人迈腿行走、保持平衡、跟踪速度指令的控制器。
legged robot	腿足机器人	靠腿行走的机器人（四足、双足、人形），比轮式机器人更能适应复杂地形。
quadrupedal / bipedal robot	四足 / 双足机器人	四条腿 / 两条腿的机器人；本工作训练了 6 台四足和 1 台双足机器人。
gait pattern	步态模式	腿的周期性摆动方式（如小跑 trotting、行走 walking）；可作为跨机器人的通用约束。
inductive bias	归纳偏置	设计网络结构时注入的先验假设（如输入输出维度匹配），让学习更容易。
URDF	统一机器人描述格式	描述机器人几何、关节、惯量的标准文件；约束限位甚至可以从 URDF 自动读取。
kernel function	核函数	本工作中定义约束惩罚形状的函数（如二次函数），不同核函数对应不同约束特性。
morphology	构型 / 形态	机器人的身体结构设计（腿的数量、机械腿设计），构型不同是约束可泛化性的试金石。
imitation learning	模仿学习	用专家示范数据训练控制器；因机器人示范数据稀缺，RL 成为主流。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文

Several earlier studies have shown impressive control performance in complex robotic systems by designing the controller using a neural network and training it with model-free reinforcement learning.

CN · 翻译

早期多项研究已经表明：在复杂机器人系统中，用神经网络设计控制器、并用无模型强化学习训练，能取得令人瞩目的控制性能。

EN · 原文

However, these outstanding controllers with natural motion style and high task performance are developed through extensive reward engineering, which is a highly laborious and time-consuming process of designing numerous reward terms and determining suitable reward coefficients.

CN · 翻译

然而，这些动作自然、任务性能高的出色控制器，都是通过大量的奖励工程开发出来的——设计大量奖励项、确定合适的奖励系数，是极其费力耗时的过程。

EN · 原文

In this work, we propose a novel reinforcement learning framework for training neural network controllers for complex robotic systems consisting of both rewards and constraints.

CN · 翻译

本工作提出一个新的强化学习框架：训练复杂机器人系统神经网络控制器时，同时使用奖励与约束。

EN · 原文

To let the engineers appropriately reflect their intent to constraints and handle them with minimal computation overhead, two constraint types and an efficient policy optimization algorithm are suggested.

CN · 翻译

为了让工程师把意图恰当地写进约束、并以极小的计算开销处理它们，我们提出了两种约束类型和一种高效的策略优化算法。

EN · 原文

The learning framework is applied to train locomotion controllers for several legged robots with different morphology and physical attributes to traverse challenging terrains.

CN · 翻译

该框架被用于为多种构型与物理属性不同的腿足机器人训练运动控制器，以穿越具有挑战性的地形。

EN · 原文

Extensive simulation and real-world experiments demonstrate that performant controllers can be trained with significantly less reward engineering, by tuning only a single reward coefficient.

CN · 翻译

大量仿真与真机实验表明：只需调节一个奖励系数，就能以显著更少的奖励工程训练出高性能控制器。

EN · 原文

Furthermore, a more straightforward and intuitive engineering process can be utilized, thanks to the interpretability and generalizability of constraints.

CN · 翻译

此外，得益于约束的可解释性与可泛化性，工程流程可以更直接、更直观。

EN · 原文

The summary video is available at https://youtu.be/KAlm3yskhvM.

CN · 翻译

摘要视频见 https://youtu.be/KAlm3yskhvM（可以看到多台腿足机器人穿越复杂地形）。

关键词 Keywords：Constrained Reinforcement Learning 约束强化学习｜ Legged Robot Locomotion 腿足机器人运动｜ Reward Engineering 奖励工程｜ Policy Optimization 策略优化

四、引言精选（为什么这个问题重要）

① 背景：为什么强化学习成了主流

EN · 原文

Recently, learning-based methods have gained significant popularity for designing controllers in complex robotic systems. These techniques employ a neural network as a controller, mapping the robot's observations to control inputs [1]. The network parameters are trained using either expert demonstration data (imitation learning) [2, 3, 4] or interaction data (reinforcement learning) [5, 6, 7]. Since expert demonstration data is often limited for robotic systems compared to readily available interaction data from both physics simulations and real-world experiments, reinforcement learning has become a dominant approach.

CN · 翻译

近年来，基于学习的方法在设计复杂机器人系统的控制器方面广受欢迎。这些技术把神经网络当作控制器，将机器人的观测映射为控制输入 [1]。网络参数要么用专家示范数据（模仿学习）[2,3,4] 训练，要么用交互数据（强化学习）[5,6,7] 训练。由于与物理仿真和真机实验中容易获得的交互数据相比，机器人系统的专家示范数据往往有限，强化学习已成为主流方法。

② 工程师的三步流程：最耗时的竟是「调奖励」

EN · 原文

When engineers build a neural network controller with reinforcement learning, they typically do the following steps: first, design a neural network architecture with inductive bias based on the observation and action spaces; second, generate abundant environment interaction scenarios (e.g., random terrains for legged robot locomotion, diverse object meshes for robot hand grasping); and third, design reward terms and tune their reward coefficients until a high-performing controller is achieved, that satisfies the robot's physical constraints (e.g., joint torque and velocity limits) and exhibits a natural motion style. Among the three steps, the last one is the most time-consuming because the tuning process has to be repeated several times. Finding the relative weights for each of the reward terms based on the resulting robot's motion is not trivial because there are often more than ten reward terms [8, 9].

CN · 翻译

工程师用强化学习构建神经网络控制器时，通常分三步：第一，基于观测空间和动作空间设计带归纳偏置的网络结构；第二，生成丰富的环境交互场景（如腿足运动的随机地形、机械手抓取的各种物体网格）；第三，设计奖励项并调整奖励系数，直到得到高性能、满足物理约束（如关节力矩与速度限制）且动作自然的控制器。三步之中，最后一步最耗时，因为调参要反复进行。根据机器人最终动作来确定每个奖励项的相对权重并不容易——奖励项往往超过十个 [8, 9]。

③ 核心问题：为什么不用约束？

EN · 原文

In this work, we want to raise the following fundamental question: Why constraints have not been used explicitly to train policies for complex robotic systems? Reinforcement learning can be thought of as a numerical optimization problem: finding the neural network parameters that maximize the objective, which is the weighted sum of the reward terms. As the system becomes more complex and the desired motions become more agile, it is inevitable to put more effort into reward engineering to make the objective surface smooth with fewer local optima and guide the optimization toward the desired point. However, in numerical optimization problems, constraints are also utilized to narrow down the solution search space to the region that is desirable for the engineer or feasible in the actual system.

CN · 翻译

本工作想提出一个根本性问题：为什么约束没有被显式用于训练复杂机器人系统的策略？强化学习可以被看作数值优化问题：寻找最大化目标（奖励项的加权和）的神经网络参数。随着系统越来越复杂、期望动作越来越敏捷，就不可避免地要在奖励工程上投入更多精力，以使目标曲面更平滑、局部最优更少，并把优化引向期望点。然而在数值优化问题中，约束也被用来把解的搜索空间缩小到工程师期望或系统实际可行的区域。

④ 用约束的好处：可泛化 + 省调参

EN · 原文

Similarly, if constraints can be explicitly defined in the reinforcement learning framework, instead of relying solely on rewards, there can be several advantages. First, the training pipeline will be more generalizable across similar robot platforms. If the learning framework is only designed with rewards, the performance of the controller can vary across multiple robots due to the differences in feedback signals for each reward component. These variations result in different control behaviors, making the controller's performance unique to each robot's specific characteristics and dynamics. On the other hand, constraints can be used as generalizable conditions that the controller should satisfy even when the robot changes. For instance, when we include a trotting gait pattern constraint in the training of locomotion controllers, it can be applied consistently to all quadruped robots, irrespective of their size, mass, and morphology.

CN · 翻译

类似地，如果能在强化学习框架中显式定义约束，而不是只依赖奖励，会有几个好处。第一，训练流程在相似机器人平台间更可泛化。如果只靠奖励设计框架，由于各奖励组件的反馈信号不同，控制器性能会随机器人而变化，导致控制行为各异，性能只对特定机器人有效。而约束可以作为「无论机器人如何变化都必须满足」的通用条件。例如，训练运动控制器时加入小跑步态约束，它可以一致地应用于所有四足机器人，无论其尺寸、质量与构型如何。

⑤ 方案：奖励 + 约束的统一框架

EN · 原文

To this end, we propose a reinforcement learning framework for complex articulated systems consisting of both rewards and constraints. Appropriate constraint types are suggested, where each can be utilized in a way that suits the engineer's intent. Inspired by previous works in the constrained reinforcement learning literature (also known as safe reinforcement learning), an efficient policy optimization algorithm is suggested to search for a policy that maximizes the reward while satisfying multiple constraints with a negligible amount of additional computation cost.

CN · 翻译

为此，我们提出一个针对复杂关节系统的强化学习框架，同时包含奖励与约束。我们给出了合适的约束类型，每种都可以按工程师的意图来使用。受此前约束强化学习文献（又称安全强化学习）启发，我们提出一种高效的策略优化算法，在满足多个约束的同时最大化奖励，额外计算成本可忽略不计。

💡 这是全文最有味道的一句："Why constraints have not been used explicitly to train policies for complex robotic systems?"——一个反问重新定义问题：奖励工程那么痛苦，是因为我们把「引导」和「边界」都塞进了奖励里；把边界拿出来写成约束，问题就简单了。

五、论文贡献（3 个要点）

EN · 原文

1. A framework with both rewards and constraints. To this end, we propose a reinforcement learning framework for complex articulated systems consisting of both rewards and constraints.

CN · 翻译

1. 奖励 + 约束的统一学习框架。为复杂关节系统提出奖励与约束并用的强化学习框架。

EN · 原文

2. Constraint types and an efficient optimizer. Appropriate constraint types are suggested, where each can be utilized in a way that suits the engineer's intent. Inspired by previous works in the constrained reinforcement learning literature (also known as safe reinforcement learning), an efficient policy optimization algorithm is suggested to search for a policy that maximizes the reward while satisfying multiple constraints with a negligible amount of additional computation cost.

CN · 翻译

2. 两种约束类型 + 高效策略优化算法。给出合适的约束类型，各按工程师意图使用；借鉴约束强化学习（安全强化学习）文献，提出高效策略优化算法——在满足多个约束的同时最大化奖励，额外计算成本可忽略。

EN · 原文

3. Less reward engineering + real-world robots. Specifically, we show that high-performance controllers can be obtained with significantly less reward engineering (i.e., only three reward coefficients and a single reward coefficient modification) and by exploiting more generalizable and straightforward constraints. To the best of our knowledge, our work is the first to show highly robust real-world robot performance for multiple legged robots using constrained reinforcement learning and demonstrate the benefits of constraints from an engineering standpoint.

CN · 翻译

3. 少调参 + 多机器人真机验证。仅用三个奖励系数（且只修改其中一个）即可得到高性能控制器，约束更可泛化、更直接；据我们所知，这是首个在多种腿足机器人真机上展示约束强化学习鲁棒性能、并从工程角度论证约束价值的工作。

六、结论中英对照

EN · 原文

We proposed a learning framework for training neural network controllers for complex robotic systems consisting of both rewards and constraints. Suitable constraint types were suggested, where each can be configured in a way that best reflects the engineer's intent. An efficient policy optimization algorithm was then proposed, based on the previous works on constrained reinforcement learning literature, to search for a policy that maximizes the reward while satisfying multiple constraints.

CN · 翻译

我们提出了一个奖励与约束并用的训练框架，用于为复杂机器人系统训练神经网络控制器。给出了合适的约束类型，每种都可以按最能反映工程师意图的方式配置；并基于约束强化学习文献提出高效策略优化算法，在满足多个约束的同时最大化奖励。

EN · 原文

Extensive simulation and real-world experiments with diverse robots, possessing different morphologies and physical properties, showed the generalizability and capability of using constraints for training performant controllers with significantly less reward engineering. Further analysis of objective sensitivity and constraint satisfaction confirms that, in comparison to employing only rewards, the proposed framework can make the engineering process of generating desired motions more straightforward and efficient. To the best of our knowledge, our work is the first to show highly robust real-world robot performance for multiple legged robots using constrained reinforcement learning and demonstrate the benefits of constraints from an engineering standpoint.

CN · 翻译

在构型与物理属性各异的多种机器人上开展的大量仿真与真机实验，证明了约束方法在显著减少奖励工程的情况下训练高性能控制器的可泛化性与能力。对目标敏感性与约束满足的进一步分析证实：与只用奖励相比，所提框架能让「生成期望动作」的工程流程更直接、更高效。据我们所知，这是首个在多种腿足机器人真机上展示约束强化学习鲁棒性能、并从工程角度论证约束价值的工作。

EN · 原文

We strongly believe that our work suggests a new direction for training neural network controllers for robotic systems. We provide a new perspective and capability of leveraging constraints in the learning pipeline, which replaces the substantial and laborious reward engineering that was unavoidable in the reward-only approach. Promising directions for future works include developing novel constraint formulations with different kernel functions based on specific use cases. It will also be fascinating to see how the learning framework is applied to diverse tasks and robot platforms. Lastly, leveraging several advanced exploration methods for training complex motions, rather than the basic random sampling from the Gaussian distribution, is promising in terms of making the training more data-efficient.

CN · 翻译

我们坚信这项工作为训练机器人系统的神经网络控制器指出了新方向：在训练流程中利用约束，取代「只用奖励」方法中不可避免的大量、费力的奖励工程。未来方向包括：针对具体用例，用不同核函数开发新的约束形式；把框架推广到更多任务与机器人平台；以及用更先进的探索方法（而非从高斯分布随机采样）训练复杂动作，让训练更数据高效。

七、编者解读：这篇论文到底讲了什么（大白话版）

问题：用强化学习训练机器人控制器，最痛苦的环节是「奖励工程」——设计十几个奖励项、反复调权重，调不好机器人就走得歪歪扭扭或原地打转；很多课题组在这上面耗几个月。
做法：把「必须满足的硬性条件」（如关节角度限制、步态模式）从奖励里拿出来，写成约束，让算法在约束范围内找最优策略；设计了两种约束类型 + 一个高效策略优化算法，几乎不增加计算成本。
结果：在 6 台四足 + 1 台双足机器人上（仿真 + 真机），只调 1 个奖励系数就训练出高性能控制器；同一个小跑步态约束能直接用在所有四足机器人上，不管尺寸、质量、构型。
最值钱的观点：奖励负责「引导」，约束负责「划边界」——把工程师的意图写进约束，比写进奖励更直观、更省事；这是第一篇在多种腿足机器人真机上验证约束强化学习的工作。
工程意义：大幅降低调参成本，让「训练一个会走路的机器人」从玄学变成工程；约束还可解释、可自动从 URDF 读取，未来能扩展到人形机器人、机械手等更多平台。

🎯 对保研的启示：这篇论文展示了一种「重新定义问题」的科研方式——大家都默认奖励工程不可避免，作者反问「为什么不用约束？」，然后系统性验证。复试时讲「我发现了什么默认假设、如何打破它、如何用实验证明」，比背模型名更有说服力。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

第一遍（10 分钟）：只读摘要和术语表，回答三个问题——问题是什么（奖励工程太耗时）？方法是什么（奖励 + 约束并用）？结果是什么（只调 1 个奖励系数，多台真机验证）？
第二遍（20 分钟）：读引言 + 结论，重点体会「为什么约束可泛化」和「工程师意图应该写进约束而不是奖励」这两个核心论证。
第三遍（30 分钟）：读方法文字部分（两种约束类型、策略优化算法），跳过所有公式和编号，只看文字描述；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

现在就能做：在 Isaac Gym / MuJoCo 里跑一个简单的强化学习例程（如 legged_gym 开源库），把同一个目标分别用「大权重奖励」和「硬约束」两种方式实现，对比训练曲线——直观感受「调权重」和「设边界」的区别。
大一→大二：学好概率统计与线性代数、最优化初步——强化学习的数学底子全靠这两门；数学建模竞赛里也常出现路径规划与策略优化题。
大二→大三：方向可扩展为腿足机器人运动控制、约束/安全强化学习、sim-to-real 迁移、人形机器人；国际会议可关注 ICRA / IROS / CoRL，开源项目 legged_gym、Unitree 系列是很好的入门抓手，国内可关注《机器人》。

九、听力任务：英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出：single reward coefficient（只调一个奖励系数）、two constraint types（两种约束类型）、quadrupedal / bipedal（四足/双足）、simulation and real-world experiments（仿真与真机实验）、legged robot locomotion（腿足机器人运动）。