Bilingual Paper Reading · 中英对照精读
桨叶失效检测与强化学习控制：缺桨四旋翼的飞行中故障检测与容错控制
准大一 · 轮机工程 × 动力系统容错 × AI+控制 —— 桨叶失效检测与控制精读材料
原文：arXiv:2002.11564
2020年2月26日发布
arXiv 预印本（cs.RO / cs.LG / eess.SY）
故障检测 × 强化学习 × 容错控制
附英文摘要朗读音频
一、论文档案
英文标题Mid-flight Propeller Failure Detection and Control of Propeller-deficient Quadcopter using Reinforcement Learning
中文标题基于强化学习的飞行中桨叶失效检测与缺桨四旋翼控制
作者罗希特库马尔·阿拉萨尼帕莱, 阿克里蒂·阿格拉瓦尔, 德巴希什·戈塞（机构未在素材中标注）
发布时间2020年2月26日（v1）｜分类：cs.RO（机器人学）、cs.LG（机器学习）、eess.SY（系统与控制）
一句话概括用强化学习训练 4 桨、3 桨、2 桨（对置）三种四旋翼控制器，再配一个神经网络故障检测器在飞行中识别桨叶丢失并自动切换到对应控制器——模拟中 2.5 秒内完成检测，缺桨状态下航点跟踪依然稳定，无人机不会坠毁。
💡 为什么选这篇给你：① 无人机桨叶空中丢失是真实的动力系统故障，与轮机工程「主机/螺旋桨故障诊断与容错控制」问题同构，思路完全可以迁移到船舶推进系统；② 用强化学习做容错控制，比传统「查表切换」能学更复杂的行为，还能适应不同条件；③ 工程约束意识强——故障检测只用机载传感器已有数据、不加任何额外重量，模拟验证「检测 + 切换」实时可行。
二、核心术语表（先扫一遍再读正文）
| 英文术语 | 中文 | 大白话解释 |
|---|
| quadcopter | 四旋翼无人机 | 由四台电机驱动四个螺旋桨的旋翼飞行器，靠差速产生姿态与位移。 |
| propeller failure | 桨叶失效 | 飞行中丢失一个或多个桨叶/电机，导致动力不对称甚至失控。 |
| propeller-deficient | 缺桨状态 | 只剩 3 个或 2 个（对置）有效桨叶的飞行状态，动力学与正常状态完全不同。 |
| fault detection (FD) system | 故障检测系统 | 利用机载传感器数据判断哪个桨叶失效，并触发控制器切换的系统。 |
| reinforcement learning (RL) | 强化学习 | 智能体与环境不断交互、根据奖励信号学「什么状态该做什么动作」的机器学习范式。 |
| agent / environment | 智能体 / 环境 | RL 的一对核心角色：智能体是决策者（输出电机指令），环境是被作用对象（四旋翼本身）。 |
| reward | 奖励 | 环境对上一动作的反馈信号，智能体据此学会让「动作-状态对」收益最大化。 |
| model-free RL | 无模型强化学习 | 不学习环境的状态转移概率，直接学策略——适合动力学复杂、难以精确建模的系统。 |
| deterministic policy | 确定性策略 | 给定状态直接输出确定动作（而不是动作的概率分布）的策略。 |
| PD controller | PD 控制器 | 比例-微分控制器，本文用它做内环稳定性控制。 |
| inner loop / outer loop | 内环 / 外环 | 双环控制结构：内环管姿态稳定，外环管航点跟踪；本文外环换成 RL 智能体。 |
| waypoint tracking | 航点跟踪 | 按顺序飞过预设路径点，是无人机任务执行的基本能力。 |
| on-board sensors | 机载传感器 | 无人机自带的测量设备（IMU、GPS 等）；本文只复用已有数据，不新增硬件。 |
| transfer learning | 迁移学习 | 把已训练好的控制器权重迁移到新任务，从而用更少的训练轨迹收敛。 |
三、摘要中英对照（精读核心）
🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。
摘要 Abstract
EN · 原文
Quadcopters can suffer from loss of propellers in mid-flight, thus requiring a need to have a system that detects single and multiple propeller failures and an adaptive controller that stabilizes the propeller-deficient quadcopter.
CN · 翻译
四旋翼可能在飞行中丢失桨叶，因此需要一个能
检测单个及多个桨叶失效的系统，以及一个能
稳定缺桨四旋翼的自适应控制器。
EN · 原文
This paper presents reinforcement learning based controllers for quadcopters with 4, 3, and 2 (opposing) functional propellers.
CN · 翻译
本文提出面向
4 桨、3 桨和 2 桨（对置）三种状态的
基于强化学习的控制器。
EN · 原文
The paper also proposes a neural network based propeller fault detection system to detect propeller loss and switch to the appropriate controller.
CN · 翻译
论文还提出
基于神经网络的桨叶故障检测系统，用于检测桨叶丢失并切换到相应的控制器。
EN · 原文
The simulation results demonstrate a stable quadcopter with efficient waypoint tracking for all controllers.
CN · 翻译
仿真结果表明，所有控制器都能让四旋翼
保持稳定并高效完成航点跟踪。
EN · 原文
The detection system is able to detect propeller failure in a short time and stabilize the quadcopter.
CN · 翻译
检测系统能够在
短时间内检测出桨叶失效并稳定四旋翼。
关键词 Keywords：Reinforcement Learning 强化学习 ｜ Fault Detection 故障检测 ｜ Quadcopter 四旋翼 ｜ Propeller Failure 桨叶失效 ｜ Fault-tolerant Control 容错控制
四、引言精选（为什么这个问题重要）
① 问题与整体方案：飞行中丢桨 = 坠毁风险
EN · 原文
Autonomous quadcopter UAVs often suffer from loss of one or multiple propeller(s) mid-flight [1, 2]. Unless the controller is robust enough to enable flight in propeller-deficient condition, the UAV crashes, causing damage to itself as well as the surroundings. This paper proposes a fault detection (FD) system to detect propeller failure mid-flight and reinforcement-learning (RL) based controllers to control the propeller-deficient quadcopter.
CN · 翻译
自主四旋翼无人机
经常在飞行中丢失一个或多个桨叶 [1, 2]。除非控制器足够鲁棒、能在缺桨状态下继续飞行，否则无人机会坠毁，伤及自身与周围环境。本文提出一个
故障检测（FD）系统在飞行中检测桨叶失效，以及
基于强化学习（RL）的控制器来控制缺桨四旋翼。
② 架构：外环 RL + 内环 PD 的双环决策系统
EN · 原文
Controllers used in quadcopters consists of two loops in the control model (Fig. 1; See Ref. [3]); the outer loop for waypoint tracking and inner one for stability. The decision-making system, proposed in this paper, has a similar structure, but with a RL agent in the outer loop, and a PD controller in the inner loop.
CN · 翻译
四旋翼控制器在控制模型中由
两个回路组成（图 1；见文献 [3]）：外环负责航点跟踪，内环负责稳定。本文提出的决策系统结构类似，但
外环用 RL 智能体、内环用 PD 控制器。
EN · 原文
Previous work on propeller loss scenarios [4] have developed separate control systems based controllers for 3, 2 (opposing), and 1 propeller lost quadcopters. We have also done the same for 2 (opposing) and 1 propeller loss scenarios, but by using RL, which allows learning more complex behaviour and is adaptable to different conditions.
CN · 翻译
以往关于丢桨场景的工作 [4] 为 3 桨、2 桨（对置）和 1 桨丢失的四旋翼分别开发了基于控制系统的控制器。我们也为 2 桨（对置）与 1 桨丢失场景做了同样的事，但使用的是 RL——它能学习
更复杂的行为，并
适应不同条件。
③ 新点：飞行中在线检测 + 自动切换，且不加任何硬件
EN · 原文
Although [4] designed controllers for quadcopters with propeller failure, it lacked an online FD system to switch between controllers during flight. We propose a method using deep learning that detects specific propeller loss using information collected from on-board sensors. No additional sensors are used, thus avoiding addition of any extra weight to the quadcopter.
CN · 翻译
虽然 [4] 为缺桨四旋翼设计了控制器，但它缺少一个
在飞行中切换控制器的在线 FD 系统。我们提出一种基于深度学习的方法，利用机载传感器采集的信息检测具体的桨叶丢失；
不增加任何传感器，从而避免给四旋翼增加额外重量。
④ RL 基本框架速览：智能体与环境的循环
EN · 原文
The RL setup consists of two major components, an agent and an environment. The agent is the decision-maker which gives control commands to the four motors and the environment is the quadcopter which the agent is acting on. The quadcopter changes its position and orientation when acted upon by the agent.
CN · 翻译
RL 设置由两大组件构成：
智能体与环境。智能体是决策者，向四个电机发出控制指令；环境是智能体作用的对象——四旋翼本身。当智能体作用时，四旋翼会改变位置与姿态。
EN · 原文
First, the environment passes the initial state to the agent, which then acts in order to proceed to the next state. The environment then returns the new state along with the reward of the previous action. Based on the reward, the agents learn which action-state pair maximize the rewards. This loop continues until the terminal state is reached.
CN · 翻译
首先，环境把初始状态交给智能体，智能体采取动作进入下一状态；环境随后返回新状态以及上一动作的
奖励。智能体根据奖励学会
哪些「动作-状态」组合能最大化收益。循环持续直到达到终止状态。
💡 这是全文最有味道的一句："Unless the controller is robust enough to enable flight in propeller-deficient condition, the UAV crashes, causing damage to itself as well as the surroundings."——容错控制的动机一句话讲透：故障不是「可能发生」，而是「会发生」，系统必须能带病飞行。这与船舶主机冗余设计、推进系统故障安全的思想完全一致。
五、论文贡献（3 个要点）
EN · 原文
1. RL controllers for degraded quadcopters. This paper presents reinforcement learning based controllers for quadcopters with 4, 3, and 2 (opposing) functional propellers.
CN · 翻译
1. 缺桨四旋翼的 RL 控制器。为
4 桨、3 桨、2 桨（对置）三种动力状态的四旋翼分别训练强化学习控制器——故障降级后依然能飞、能跟踪航点。
EN · 原文
2. A neural-network fault detection system. The paper also proposes a neural network based propeller fault detection system to detect propeller loss and switch to the appropriate controller.
CN · 翻译
2. 神经网络故障检测系统。提出
基于神经网络的桨叶故障检测系统，检测桨叶丢失并自动切换到对应控制器，且
不增加任何机载硬件。
EN · 原文
3. Fast detection without extra sensors. This method requires only the previous states of the quadcopter and is able to detect the propeller loss within 2.5 seconds, thus removing the need and maintenance for any additional sensor hardware on the quadcopter.
CN · 翻译
3. 无需额外传感器的快速检测。该方法
只需要四旋翼的历史状态，即可在
2.5 秒内检测出桨叶丢失，从而免去机载附加传感器硬件及其维护成本。
六、结论中英对照
EN · 原文
In this paper, we have proposed a system for mid-flight failure detection and control in case of multiple propeller loss in a quadcopter. Firstly, we showed how RL agents can learn to control quadcopters with 0, 1 and 2 (opposing) propeller(s) lost. We showed that the quadcopter learned to do waypoint tracking while maintaining stability, even with 1 and 2 (opposing) propeller(s) failed. Secondly, we developed a novel FD system using deep learning which can detect the propeller(s) failure and switch to the appropriate controller. This method requires only the previous states of the quadcopter and is able to detect the propeller loss within 2.5 seconds, thus removing the need and maintenance for any additional sensor hardware on the quadcopter.
CN · 翻译
本文提出了一个四旋翼
多重丢桨情况下的飞行中故障检测与控制系统。首先展示了 RL 智能体如何学会控制丢失
0、1 和 2（对置）个桨叶的四旋翼——即使 1 或 2（对置）个桨叶失效，四旋翼也能在保持稳定的同时完成航点跟踪。其次开发了基于深度学习的新型 FD 系统，可检测桨叶失效并切换到相应控制器；该方法只需四旋翼的历史状态，能在
2.5 秒内检测出桨叶丢失，免去了机载附加传感器硬件及其维护。
EN · 原文
We have also shown, in simulation, that the detection and switching can happen in real-time, preventing the quadcopter from crashing and enabling it to either land or continue its mission.
CN · 翻译
我们还在仿真中证明，
检测与切换可以实时完成，从而防止四旋翼坠毁，使其能够选择降落或继续执行任务。
EN · 原文
Future scope of this work can be to replace the inner loop based on PD controller, with an RL agent to make the whole system model-free, and completely discard the need to develop a mathematical model of the quadcopter. One can also use transfer-learning for training the controllers for propeller loss. This may allow training the other controllers using less number of trajectories.
CN · 翻译
未来工作方向：把基于 PD 的内环也换成 RL 智能体，使
整个系统无模型化，彻底摆脱为四旋翼建立数学模型的需要；还可以用
迁移学习训练丢桨控制器，从而用更少的训练轨迹训练其余控制器。
七、编者解读：这篇论文到底讲了什么（大白话版）
- 问题：四旋翼飞行中会真的丢桨（电机/桨叶失效）。正常控制器在缺桨时立刻失效，无人机直接坠毁。所以需要两样东西：① 检测「哪个桨丢了」的传感器系统；② 缺桨状态下还能稳住飞机、继续飞向目标点的控制器。
- 做法：控制器用强化学习训练三套——4 桨正常版、3 桨版、2 桨对置版（这是最难的动力构型）。检测器用神经网络，只看机载传感器已有的状态数据就能判断「丢了哪个桨」，然后自动切换到对应控制器。不加任何硬件，不给飞机增重。
- 结构：双环控制——外环（航点跟踪）交给 RL 智能体，内环（姿态稳定）保留经典 PD 控制器。既吃到 RL「能学复杂行为」的红利，又保留经典控制「稳定可靠」的底子。
- 结果：仿真中所有控制器航点跟踪都稳定；检测系统 2.5 秒内识别桨叶丢失；检测 + 切换全程实时，无人机不会坠毁，可以降落或继续任务。
- 工程思维：故障不会等你准备好才发生——「检测要快、切换要稳、不加重量」三条约束非常实际；这和轮机工程里主机故障诊断、双机冗余、降功率航行（安全返港）的思路如出一辙。
🎯 对保研的启示：这篇论文展示了「故障诊断 + 容错控制 + 机器学习」三合一的研究范式——先定义故障模式（丢 1 桨/2 桨），再分别设计检测器与控制器，最后在仿真里闭环验证。复试时能讲清「故障模式 → 检测 → 切换 → 容错」这条完整链路，比单讲一个 RL 算法更能体现系统思维。
八、给准大一的阅读路线图 & 延伸方向
📖 怎么读这篇论文（三遍法）
- 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——问题是什么（飞行中丢桨）？方法是什么（RL 控制器 + 神经网络检测）？结果是什么（2.5 秒检测、不掉高、不坠毁）？
- 第二遍（20 分钟）：读引言，重点体会「为什么外环用 RL、内环用 PD」以及「为什么检测系统不加传感器是重要卖点」。
- 第三遍（30 分钟）：读结论，跳过所有公式和参考文献，只追踪主线：检测 → 切换 → 稳定 → 继续任务；再想想未来工作（全无模型化、迁移学习）为什么合理。
🚀 这个方向你能延伸做什么
- 现在就能做：在浏览器里玩 OpenAI Gym 的 CartPole（倒立摆）环境，亲手跑一个 Q-learning 或 DQN 示例，体会「状态-动作-奖励」循环——这是理解本文 RL 部分的最小成本路径。
- 大一→大二：学好概率论与线性代数；强化学习需要的数学（贝尔曼方程、策略梯度）会在大三课程里系统出现，先建立直觉最重要。
- 大二→大三：方向可扩展为船舶主机/螺旋桨故障诊断与容错控制（FTC）、推进系统健康管理（PHM）、基于迁移学习的少样本训练、船岸一体的无人系统——轮机工程 + AI 的保研热门；国内可关注《中国舰船研究》《船舶工程》与相关高校智能船舶课题组。
九、英文摘要朗读（练听力用）
先盲听一遍→再看对照稿→再听一遍。目标是听出每个数字（4, 3, and 2 (opposing)）和术语（propeller failure、reinforcement learning、waypoint tracking、switch to the appropriate controller）。