晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

四足机器人全身操控：用整台身体搬运大件重物的学习系统

准大一 · 机器人工程 × 全身操作 × 学习控制 —— 四足机器人全身操控精读材料
原文：arXiv:2308.16820 2023年8月31日发布 arXiv 预印本（cs.RO） 四足机器人 × 全身操作 × 分层控制 附英文摘要朗读音频

一、论文档案

英文标题Learning Whole-body Manipulation for Quadrupedal Robot
中文标题四足机器人全身操控：面向大件重物的整机操作学习（中文短名：四足机器人全身操控）
作者全承勋, 郑文奎, 崔秀英, 金范俊, 黄载民（机构未在素材中标注）
发布时间2023年8月31日（v1）｜分类：cs.RO（机器人）
原文链接arxiv.org/abs/2308.16820　·　全文 HTML 版　·　演示视频：youtu.be/fO_PVr27QxU
一句话概括让四足机器人不抓手、不建模物体，用整个身体去推、顶、扛大件重物——先在仿真里学会（成功率 93.6 %），再零微调直接部署真机，推动 19.2 kg 水桶（机器人自重仅 27 kg）。
💡 为什么选这篇给你：① 全身操作（loco-manipulation）是足式机器人从「会走路」迈向「能干活的」的关键一步，波士顿动力、宇树都在押注这个方向；② 方法思想极清晰——「高层出速度指令 + 低层跟踪关节」的分层控制，配上「深度潜变量隐式理解物体」，不用复杂数学也能读懂；③ 结果故事完整：仿真 93.6 % 成功率、真机零微调零失败、推动接近自重 70 % 的水桶，还附演示视频，非常适合作为第一篇机器人论文。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
whole-body manipulation全身操作不靠机械手，用身体（四肢、躯干）接触物体去推动、顶、扛——「整个身体都是手」。
quadrupedal robot四足机器人四条腿的足式机器人（如波士顿动力 Spot、宇树机器狗），擅长复杂地形行走。
hierarchical control分层控制把控制拆成两层：高层控制器出「速度指令」（去哪儿、多快），低层控制器负责「关节怎么动」去跟踪指令。
deep latent variable embedding深度潜变量嵌入用神经网络把「交互信息、本体感觉、动作历史」压缩成一个低维隐向量，浓缩物体的关键属性。
proprioception本体感觉机器人对自己内部状态的感知：关节角度、力矩、姿态等，类似人闭着眼也知道手脚在哪。
prehensile manipulation抓取式操作用夹爪/手「抓住」物体再操作；对又大又重、形状未知的物体常常抓不住。
non-prehensile manipulation非抓取式操作不抓取，靠推、挤、顶、倚等方式操作物体——本文全身操控就属于这一类。
planar pushing平面推搡在 2D 平面上把物体推到目标位置和朝向（本文的任务设定）。
re-positioning / re-orienting重新定位 / 重新定向把物体移动到目标位置（位置）、转到目标朝向（姿态）。
sim-to-real仿真到现实迁移在仿真环境里训练策略，直接部署到真机；本文做到了「零微调、零失败」部署。
trajectory optimization轨迹优化传统方法：把「怎么动」写成优化问题求解，算得慢且依赖精确模型。
hybrid dynamics混合动力学接触/不接触模式切换导致运动方程分段变化，是优化方法计算昂贵的根源之一。
COM (center of mass)质心物体质量分布的中心，是估计物体物理属性时的关键参数之一。
implicit understanding隐式理解不显式建模物体（形状、质量、摩擦），而是靠交互「手感」内隐地把握物体属性，像人推箱子那样边推边学。
loco-manipulation移动操作一边运动一边操作物体——足式机器人「边走路边干活」的研究方向总称。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
We propose a learning-based system for enabling quadrupedal robots to manipulate large, heavy objects using their whole body.
CN · 翻译
我们提出一个基于学习的系统，让四足机器人用整个身体操作大而重的物体。
EN · 原文
Our system is based on a hierarchical control strategy that uses the deep latent variable embedding which captures manipulation-relevant information from interactions, proprioception, and action history, allowing the robot to implicitly understand object properties.
CN · 翻译
系统基于分层控制策略：利用深度潜变量嵌入，从交互、本体感觉和动作历史中提取与操作相关的信息，让机器人隐式理解物体属性。
EN · 原文
We evaluate our framework in both simulation and real-world scenarios. In the simulation, it achieves a success rate of 93.6 % in accurately re-positioning and re-orienting various objects within a tolerance of 0.03 m and 5 °.
CN · 翻译
我们在仿真和真实世界两种场景下评估框架：仿真中，在 0.03 m 和 5° 容差内准确重新定位、重新定向多种物体，成功率 93.6 %。
EN · 原文
Real-world experiments demonstrate the successful manipulation of objects such as a 19.2 kg water-filled drum and a 15.3 kg plastic box filled with heavy objects while the robot weighs 27 kg.
CN · 翻译
真机实验成功操作了 19.2 kg 装满水的水桶和15.3 kg 装满重物的塑料箱——而机器人自重仅 27 kg。
EN · 原文
Unlike previous works that focus on manipulating small and light objects using prehensile manipulation, our framework illustrates the possibility of using quadrupeds for manipulating large and heavy objects that are ungraspable with the robot's entire body.
CN · 翻译
与以往聚焦「用小而轻的物体做抓取式操作」的工作不同，我们的框架展示了四足机器人用整个身体操作无法抓取的大件重物的可能性。
EN · 原文
Our method does not require explicit object modeling and offers significant computational efficiency compared to optimization-based methods.
CN · 翻译
我们的方法不需要显式建模物体，相比基于优化的方法具有显著的计算效率优势。
EN · 原文
The video can be found at https://youtu.be/fO_PVr27QxU.
CN · 翻译
演示视频见 https://youtu.be/fO_PVr27QxU。

关键词 Keywords（编者整理）：Whole-body Manipulation 全身操作 ｜ Quadrupedal Robot 四足机器人 ｜ Hierarchical Control 分层控制 ｜ Deep Latent Variable 深度潜变量 ｜ Sim-to-Real 仿真到现实

四、引言精选（为什么这个问题重要）

① 四足机器人会走路，但还不会「干活」

EN · 原文
While recent quadrupedal robots have a remarkable capability to maneuver through a diverse set of challenging and complex terrains [1, 2, 3], they still lack the ability to handle tasks requiring interaction with objects and the environment. There have been attempts to attach manipulators to quadrupedal robots [4, 5, 6, 7]; however, in industrial environments, quadrupeds often face situations where they need to move objects that are large, heavy, and have agnostic physical properties (e.g. shape, mass, inertia, COM). Consequently, prehensile manipulation in such an environment becomes challenging. Our goal is to endow quadrupeds with the capability to manipulate such objects from high-dimensional sensory data using their entire body. This is a challenging task that involves not only determining torque commands to balance and locomote amidst contact with the object but also reasoning about the physical properties of objects to determine a long sequence of actions that would move the object to the target location.
CN · 翻译
近期的四足机器人在穿越各种复杂地形上已表现出色，但还缺乏与物体、环境交互的能力。有人尝试给四足机器人加装机械臂；但在工业环境中，四足机器人常要搬运又大又重、物理属性未知（如形状、质量、惯量、质心）的物体，抓取式操作因此变得困难。我们的目标是让四足机器人从高维感知数据出发、用整个身体操作这类物体——这既要在与物体接触中保持平衡与移动（确定力矩指令），又要推断物体物理属性以规划一长串把物体移到目标位置的动作。

② 传统优化方法的两个缺陷：算得慢、依赖精确建模

EN · 原文
The conventional approach to whole-body manipulation involves designing an optimization-based planner and controller by carefully modeling the dynamics of the object, environment, and robot [8, 9, 10, 11, 5]. However, this approach has two drawbacks. Firstly, it incurs a significant computational cost due to hybrid dynamics and decision variables involving binary contact sequences and continuous motions under several dynamics constraints that change with respect to contact decisions. With simplifying assumptions, we can significantly reduce the computational cost, but they come at the expense of limited robot motion types [8, 9]. Secondly, these models rely on the accurate estimation of explicit object information, such as its shape and physical parameters, from sensory data, and the action history itself is a challenging task.
CN · 翻译
传统全身操作靠精心建模物体、环境和机器人动力学，再设计基于优化的规划器与控制器。但这有两个缺点：其一，混合动力学（接触决策会改变动力学约束）和大量决策变量（二值的接触序列 + 连续运动）带来巨大的计算开销；简化假设能省算力，却限制了机器人能做的动作类型。其二，这些模型依赖从感知数据中精确估计显式物体信息（形状、物理参数），而这本身就是个难题。

③ 学习方法更便宜，但过去只会「玩一个球」

EN · 原文
Recently, learning-based methods for whole-body manipulation have been proposed [12, 13, 14, 15, 16]. Model-free approaches offer advantages over conventional optimization-based methods by enabling robots to adapt to diverse environments using the generalization capability of neural network (NN) [13, 15]. Additionally, the computation of the actions comes down to making predictions from a NN, instead of a complex optimization procedure, significantly reducing the computational cost. However, previous works have primarily focused on training systems to manipulate a single object, such as a ball [13] or a cylinder [15], which introduces inherent challenges when dealing with objects of various types, geometries, and physical properties. The difficulty arises from the need to adjust forces depending on the specific object type.
CN · 翻译
近年来出现了基于学习的全身操作方法。无模型方法靠神经网络的泛化能力适应多样环境，且动作计算退化为一次网络前向推理，不再做复杂优化，计算成本大幅下降。但以往工作大多只训练系统操作单一物体（如一个球、一个圆柱），面对不同类型、几何与物理属性的物体就抓瞎——因为需要随物体类型调整发力。

④ 本文思路：分层控制 + 深度潜变量，像人一样「边推边学」

EN · 原文
In this paper, we tackle the problem with a hierarchical control strategy. The high-level controller outputs velocity commands based on the state of the robot and the object, while the low-level controller outputs desired joint position that leads joint torque to track given commands. Additionally, we show that the difficulties mentioned above —manipulating a wide range of objects with diverse physical properties— can be mitigated by using a deep latent variable encoding model that embeds object information from multiple interactions, proprioception, and action history into a low-dimensional latent vector. This enables an implicit understanding of object physical properties, akin to how humans manipulate an object when they lack knowledge about the object physical properties. Initially, humans rely on prior knowledge to determine the force's direction and magnitude. Subsequently, through physical interactions, they refine their understanding, considering factors like the applied force vector and perceived object motion.
CN · 翻译
本文用分层控制策略解决该问题：高层控制器根据机器人和物体的状态输出速度指令，低层控制器输出期望关节位置，让关节力矩跟踪给定指令。同时，我们用深度潜变量编码模型把多次交互、本体感觉和动作历史嵌入到低维隐向量中，从而隐式理解物体物理属性——这就像人在不了解物体属性时推东西：先凭经验估计发力方向和大小，再通过物理交互（感知发力向量与物体运动）不断修正理解。
💡 这是全文最有味道的一句：“This enables an implicit understanding of object physical properties, akin to how humans manipulate an object when they lack knowledge about the object physical properties.”——机器人学人的不是「记住每个物体的参数」，而是「推一推、感受一下、再调整」，隐式理解来自交互本身。

五、论文贡献（3 个要点）

EN · 原文
1. A hierarchical control strategy for whole-body manipulation. The high-level controller outputs velocity commands based on the state of the robot and the object, while the low-level controller outputs desired joint position that leads joint torque to track given commands.
CN · 翻译
1. 分层控制策略。高层控制器根据机器人与物体状态输出速度指令，低层控制器输出期望关节位置，使关节力矩跟踪指令——把「决策」与「执行」解耦。
EN · 原文
2. Deep latent variable encoding for implicit object understanding. We show that the difficulties of manipulating a wide range of objects with diverse physical properties can be mitigated by using a deep latent variable encoding model that embeds object information from multiple interactions, proprioception, and action history into a low-dimensional latent vector.
CN · 翻译
2. 深度潜变量编码，隐式理解物体。用深度潜变量编码模型把多次交互、本体感觉、动作历史嵌入低维隐向量，缓解「物体属性多样」带来的操作困难——无需显式建模物体。
EN · 原文
3. Sim-to-real deployment without fine-tuning. We successfully deployed the learning-based system, trained in simulation, directly to the real-world scenario without any fine-tuning or additional training, and it manipulated heavy and complex objects without a single failure.
CN · 翻译
3. 仿真到真机零微调部署。把在仿真中训练好的系统直接部署到真机、不做任何微调，成功操作重而复杂的物体且零失败（19.2 kg 水桶、15.3 kg 重箱）。

六、结论中英对照

EN · 原文
We have proposed a learning-based whole-body manipulation approach with a hierarchical structure for planar-pushing tasks. The proposed method allows the robot to manipulate objects without prior knowledge of their physical properties. Our system is computationally efficient, as it can perform both approaching and pushing with NN predictions, without the need for trajectory optimization or contact reasoning. We have demonstrated the effectiveness of our approach through numerical and experimental validations. In simulations, we have shown that the proposed method achieves a remarkable success rate under diverse object physical properties. The system also demonstrates high accuracy in real-world robot experiments, manipulating objects up to 70 % of the robot's weight. We believe that this study could point to numerous directions for future research in developing more general methods for whole-body manipulation and loco-manipulation.
CN · 翻译
我们提出了一个面向平面推搡任务的分层结构学习式全身操作方法：无需预先知道物体物理属性即可操作；由于接近与推动都只靠神经网络预测，不需要轨迹优化或接触推理，计算高效。数值与实验验证表明：仿真中在多样物体属性下取得显著成功率，真机实验中可操作达机器人自重 70 % 的物体。我们相信这项研究能为更通用的全身操作与移动操作（loco-manipulation）方法指出多个未来方向。
EN · 原文
Additionally, we are currently investigating methods for replacing the motion capture system with exteroceptive sensor data to avoid being restricted to a specific workspace. We are also interested in obstacle avoidance in cases where there are obstacles in the robot's path.
CN · 翻译
此外，我们正在研究用外部感知（exteroceptive）传感器数据取代运动捕捉系统，以避免被限制在特定工作空间内；同时也在研究机器人路径上存在障碍时的避障问题。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：四足机器人很会走路，但工业现场要搬的「大件重物」既抓不住（太粗太大）、又不知道多重多滑（属性未知）。传统解法要么给机器人装机械臂，要么用优化算法精确建模物体动力学——前者抓不住大件，后者算得慢还依赖精确感知。
  2. 做法：一套「分层控制 + 深度潜变量」的学习系统。高层控制器出速度指令（往哪推、推多快），低层控制器跟关节位置（腿怎么发力）；中间的潜变量编码器把「交互手感 + 本体感觉 + 动作历史」压缩成一个隐向量，让机器人像人一样「推一推就知道轻重」，不需要给每个物体建模。
  3. 结果：仿真里把多种物体重新定位/定向到目标位姿，成功率 93.6 %（容差 0.03 m、5°）；真机零微调、零失败地推动了 19.2 kg 水桶（约为自重 70 %）和 15.3 kg 装满重物的塑料箱。
  4. 最值钱的观点：「隐式理解」比「显式建模」更鲁棒——物体属性藏在交互历史里，而不是靠传感器一次估准；动作计算只是神经网络前向推理，比优化方法快得多，所以能实时应对物体属性动态变化（比如水桶里的水在晃）。
  5. 工程意义：工业搬运是四足机器人最现实的落地场景之一（仓库、车间、灾害现场）；本文证明了「先仿真学会、再真机直接用」的范式可行，也为「移动操作（loco-manipulation）」这个更广的方向铺了路。
🎯 对保研的启示：这篇论文示范了两条顶级科研思路——①「分层」：把难题拆成高层决策与低层执行，各管一段；②「隐式表示」：与其费力建模物体，不如让网络从交互中自己学出表征。复试时能讲出「为什么隐式理解比显式建模更稳、边界在哪（目前依赖运动捕捉系统）」，比背模型名词更能打动导师。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——问题是什么？方法是什么？结果是什么？（答案：让四足机器人全身推重物；分层控制+潜变量；仿真 93.6 %、真机零失败。）
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「为什么优化方法不行、为什么隐式理解行」以及「结论的边界（依赖运动捕捉系统、未解决避障）」。
  3. 第三遍（30 分钟）：先看演示视频（youtu.be/fO_PVr27QxU）建立直觉，再读方法文字部分——跳过公式和编号，只看「高层控制器/低层控制器/潜变量编码器」的文字描述，不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出每个数字（93.6 %、0.03 m、19.2 kg、27 kg）和术语（hierarchical control、latent variable、prehensile manipulation、sim-to-real）。