晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

让四足机器人学会敏捷双足运动:小米 CyberDog2 的「站立 + 打拳 + 跳舞」

准大一 · 机器人工程 × 强化学习 × 人机交互 —— 双足运动精读材料
原文:arXiv:2311.05818 2023年11月10日发布 arXiv 预印本(cs.RO) 四足机器人 × 双足运动 × 分层控制 附英文摘要朗读音频

一、论文档案

英文标题Learning Agile Bipedal Motions on a Quadrupedal Robot
中文标题在四足机器人上学习敏捷双足运动
作者李云飞, 李金翰, 付伟, 吴逸(清华大学交叉信息研究院等,素材未完整标注机构)
发布时间2023年11月10日(v1)|分类:cs.RO(机器人学)
一句话概括让便宜轻量的四足机器人(小米 CyberDog2)像人一样只用两条后腿站立、打拳、跳舞——低层用强化学习练平衡,高层用动作生成器把视频/语言指令变成动作轨迹。
💡 为什么选这篇给你:① 人形机器人贵,但四足机器人便宜——这篇论文证明了「平价四足平台也能做出人形动作」,思路对经费有限的实验室和学生极有吸引力;② 分层框架(高层生成动作 + 低层跟踪执行)是机器人控制的经典结构,学会它就读懂一半机器人论文;③ 展示了三种人机交互模式:模仿人类视频、自然语言指令、物理互动,酷且直观,视频在项目网站上可看。

二、核心术语表(先扫一遍再读正文)

英文术语中文大白话解释
quadrupedal robot四足机器人四条腿的机器人,如小米 CyberDog2、宇树机器狗。
bipedal motion双足运动只用两条腿完成的动作,如站立、行走、打拳——通常是双足(人形)机器人的专长。
hierarchical framework分层框架高层负责「做什么动作」,低层负责「怎么执行」,两层各司其职。
motion-conditioned control policy动作条件控制策略以目标动作为条件(输入)的控制策略——给它一个动作目标,它负责跟踪执行。
motion generator动作生成器高层模块:把人类视频或自然语言描述转成参数化的动作轨迹。
model-free reinforcement learning无模型强化学习不建环境模型、靠「试错 + 奖励」直接学策略的强化学习。
reference motion参考动作机器人要跟踪的目标动作(来自动捕数据或人工设计)。
end effector末端执行器腿的最末端(脚/足趾),本文中指前肢的末端。
proprioceptive states本体感觉状态由机器人自身传感器测得的状态(关节角、角速度等),不依赖外部感知。
human motion capture人体动作捕捉记录真人动作(如打拳)的运动数据。
natural language instructions自然语言指令用日常语言(如「打个招呼」「跳支舞」)指挥机器人。
calibrated simulator标定过的仿真器参数经过校准、与真实机器人尽量一致的仿真环境。
sim2real transfer仿真到现实迁移把仿真里训练好的策略搬到真实机器人上。
spherical feet球形脚底部为球面的脚,重心高、易倒,双足平衡难度更大。

三、摘要中英对照(精读核心)

🎧 音频在文末,可先听一遍原文再读;每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
Can a quadrupedal robot perform bipedal motions like humans?
CN · 翻译
四足机器人能像人类一样做出双足运动吗?
EN · 原文
Although developing human-like behaviors is more often studied on costly bipedal robot platforms, we present a solution over a lightweight quadrupedal robot that unlocks the agility of the quadruped in an upright standing pose and is capable of a variety of human-like motions.
CN · 翻译
尽管类人行为通常是在昂贵的双足机器人平台上研究的,我们却在轻量四足机器人上给出了解决方案——解锁四足机器人在直立姿态下的敏捷性,使其能完成多种类人动作。
EN · 原文
Our framework is with a hierarchical structure.
CN · 翻译
我们的框架采用分层结构
EN · 原文
At the low level is a motion-conditioned control policy that allows the quadrupedal robot to track desired base and front limb movements while balancing on two hind feet.
CN · 翻译
低层是一个动作条件控制策略,让四足机器人在两条后腿上保持平衡的同时,跟踪期望的基座与前肢运动。
EN · 原文
The policy is commanded by a high-level motion generator that gives trajectories of parameterized human-like motions to the robot from multiple modalities of human input.
CN · 翻译
策略由高层动作生成器指挥——它从多种模态的人类输入出发,为机器人生成参数化的类人动作轨迹。
EN · 原文
We for the first time demonstrate various bipedal motions on a quadrupedal robot, and showcase interesting human-robot interaction modes including mimicking human videos, following natural language instructions, and physical interaction.
CN · 翻译
我们首次在四足机器人上展示了多种双足运动,并呈现了有趣的人机交互模式:模仿人类视频、听从自然语言指令、以及物理互动
EN · 原文
The video is available at https://sites.google.com/view/bipedal-motions-quadruped.
CN · 翻译
视频见 https://sites.google.com/view/bipedal-motions-quadruped。

编者归纳本文关键词:Quadrupedal Robot 四足机器人 | Bipedal Motion 双足运动 | Reinforcement Learning 强化学习 | Hierarchical Control 分层控制

四、引言精选(为什么这个问题重要)

① 一个有趣的问题:便宜的四足机器人能做双足动作吗?

EN · 原文
Empowering robots with versatile motions like humans has been an important research topic to allow them to better coexist and interact with humans. Developing bipedal robot systems has attracted much interest since they have an appealing potential to mimic human behaviors thanks to their structural similarity to human beings. However, existing bipedal robots are typically expensive, heavy, and power-consuming. In contrast, quadrupedal robots are much cheaper and more lightweight and have recently demonstrated impressive sporting capabilities in various domains. This naturally raises an interesting question: Is it possible for quadrupedal robots to demonstrate agile human-like motions as an affordable alternative of humanoid robots?
CN · 翻译
让机器人拥有像人一样多样的运动能力,是一个重要研究课题——这让它们能更好地与人类共处和互动。双足机器人系统因其结构与人类相似、有模仿人类行为的潜力而备受关注;但现有双足机器人通常昂贵、笨重、耗电。相比之下,四足机器人便宜得多、更轻,且近年在多个领域展现了惊人的运动能力。这自然引出一个有趣的问题:四足机器人能否作为人形机器人的平价替代,展示敏捷的类人动作?

② 挑战一:先得「站起来」,还得「稳得住」

EN · 原文
Enabling a quadrupedal robot to perform agile bipedal motions poses significant control challenges. Since quadrupedal robots are designed for dog-like behaviors with four legs on the ground, they must first stand upright on two feet from a four-leg pose at rest to unlock the motions of bipedal creatures. The stand-up procedure requires an agile control policy to gain enough momentum to swing up the robot and avoid flipping over at the same time. Furthermore, the bipedal motions are inherently unstable over common quadrupedal robots with spherical feet, thus the robot must actively adjust all its body parts to stay balanced once it stands up. Previous work utilized external mechanical support for the robot to stand up, while we aim to control a quadrupedal robot to mimic bipedal motions without any external hardware.
CN · 翻译
让四足机器人做敏捷的双足运动充满控制挑战:四足机器人是为「四脚着地、狗式行为」设计的,必须先从静止的四脚姿态用两条后腿站立起来。起立过程需要敏捷的控制策略——既要获得足够动量把身体甩起来,又要避免翻倒。此外,双足运动在常见的球形脚四足机器人上天生不稳定,一旦站起来,机器人必须主动调整所有身体部位来保持平衡。此前的工作借助外部机械支撑让机器人站立,而我们的目标是不借助任何外部硬件,控制四足机器人模仿双足运动。

③ 挑战二:动作编码要「人类能表达、机器能执行」

EN · 原文
Another notable challenge is how to master a wide range of human-like motions. Due to the difference in kinematics and dynamics between humans and quadrupedal robots, it is difficult to directly track human motion capture data while keeping the quadruped robot balanced. Therefore, motion encodings that can both represent versatile human-like behaviors and are also feasible for the embodiment of a quadrupedal robot require careful design.
CN · 翻译
另一个显著挑战是如何掌握广泛的类人动作。由于人类与四足机器人在运动学与动力学上存在差异,很难在保持四足机器人平衡的同时直接跟踪人体动作捕捉数据。因此,需要精心设计既能表达多种类人行为、又适合四足机器人本体执行的动作编码。

④ 本文方案:分层框架——低层练平衡,高层出动作

EN · 原文
In this work, we present a hierarchical framework that enables agile bipedal motions on a quadrupedal robot. At the low level, we train a motion-conditioned policy with model-free reinforcement learning (RL) that is capable of balancing the quadrupedal robot on its two toes while tracking reference motions at the same time. We represent motions as a sequence of the desired state of the robot base and end effectors of the front limbs, which is flexible enough to encode a spectrum of behaviors and is plausible for the quadrupedal robot to execute.
CN · 翻译
本文提出了一个让四足机器人实现敏捷双足运动的分层框架。低层用无模型强化学习(RL)训练动作条件策略:在两条足趾上保持平衡的同时跟踪参考动作。动作被表示为「机器人基座与前肢末端执行器期望状态」的序列——这种表示足够灵活,能编码一系列行为,且对四足机器人来说是可行的。
💡 这是全文最有味道的一句"Is it possible for quadrupedal robots to demonstrate agile human-like motions as an affordable alternative of humanoid robots?"——把「贵的人形机器人」换成一个几百美元的机器狗,是这篇论文的灵魂问题。科研里「换个更便宜的载体解决同一个问题」常常就是一篇好工作的起点。

五、论文贡献(3 个要点)

EN · 原文
1. 首次实现. To the best of our knowledge, these agile bipedal motions are made possible on a quadrupedal robot for the first time.
CN · 翻译
1. 首次实现。据我们所知,这是首次在四足机器人上实现敏捷的双足运动。
EN · 原文
2. 仿真训练、真机迁移. The policy is trained in a calibrated simulator and then transferred to the real robot.
CN · 翻译
2. 仿真训练、真机迁移。策略在标定过的仿真器中训练,然后迁移到真实机器人。
EN · 原文
3. 高层动作生成器. At the high level, a motion generator parameterizes human-like motions from videos or natural language descriptions into a sequence of desired targets for the low-level policy.
CN · 翻译
3. 高层动作生成器。高层动作生成器把视频或自然语言描述中的类人动作参数化,转化为低层策略要跟踪的期望目标序列。

六、结论中英对照

EN · 原文
We study the problem of enabling a quadrupedal robot to perform agile human-like bipedal motions and propose a bi-level framework. The low level is a motion-conditioned RL policy that tracks the desired states of the robot base and the front limbs while balancing on hind toes. At the high level, we generate human-like motion sequences to command the low-level policy from human videos or natural language instructions.
CN · 翻译
我们研究「让四足机器人执行敏捷类人双足运动」的问题,并提出双层框架:低层是动作条件 RL 策略,在足趾上保持平衡的同时跟踪机器人基座与前肢的期望状态;高层从人类视频或自然语言指令中生成类人动作序列,指挥低层策略。
EN · 原文
Currently, we consider motions that are feasible with proprioceptive states only. Augmenting the robot with environmental perception to perform more complex interactions with humans and objects is an interesting future work.
CN · 翻译
目前,我们只考虑仅凭本体感觉状态即可实现的动作。为机器人增加环境感知、以执行与人和物体更复杂的交互,是有趣的未来工作。

七、编者解读:这篇论文到底讲了什么(大白话版)

  1. 问题:人形机器人(如 Atlas、ASIMO)能打拳跳舞,但动辄几百万;四足机器狗(如小米 CyberDog2,约 1800 美元)便宜又灵活,可它天生四条腿着地——能不能让它只用两条后腿站起来,做出类人动作?
  2. 难点一:起立与平衡。四足机器人从四脚趴着到两脚站立,需要足够动量「甩」起来又不能翻倒;站起来后球形脚 + 高重心让它天生不稳,全身每个关节都得主动调节。此前有人用外部支架帮忙,本文要求零外部硬件。
  3. 难点二:动作编码。人体的动作捕捉数据不能直接给机器狗用(运动学差异太大),必须设计一种「人类能生成、机器狗能执行」的中间表示——本文选的是「基座 + 前肢末端的期望状态序列」。
  4. 做法:分层框架。低层:无模型强化学习练出一个「动作条件策略」,输入目标动作、输出关节指令,负责平衡与跟踪;高层:动作生成器把人类视频(模仿打拳、芭蕾)或自然语言指令(「打个招呼」)变成低层策略要跟踪的动作轨迹。
  5. 结果:首次在四足机器人上演示多种双足运动,还能跟人握手互动;局限也很诚实——目前只做本体感觉可达的动作,环境感知留给未来。
🎯 对保研的启示:这篇论文值得学的有三点——① 「平价替代」式的问题定义:换个便宜载体解决经典问题,往往既出成果又好讲;② 分层架构思维:把「做什么(高层)」和「怎么做(低层)」解耦,是系统设计的通用方法论;③ 动作编码的设计哲学:中间表示要同时满足「人类可生成」和「机器可执行」。复试讲项目时,能说清「你系统的层次划分和每一层的输入输出」比堆模型名更有说服力。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文(三遍法)

  1. 第一遍(10 分钟):只读摘要和术语表,回答三个问题——问题是什么?方法分几层?结果是什么?(记住「低层跟踪、高层生成」和「首次实现」即可)
  2. 第二遍(20 分钟):读引言,重点体会「起立 + 平衡」为什么难、动作编码为什么需要专门设计。
  3. 第三遍(30 分钟):读方法要点与结论,跳过公式和编号,画出「高层动作生成器 → 低层 RL 策略 → 机器人本体」的数据流图;再去看项目网站视频,把「模仿视频打拳」和「语言指令打招呼」对应到框架图上。

🚀 这个方向你能延伸做什么

九、英文摘要朗读(练听力用)

先盲听一遍→再看对照稿→再听一遍。目标是听出核心术语(bipedal motions、hierarchical structure、motion-conditioned control policy、natural language instructions)和「for the first time」这个关键短语。