晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

递归模型预测控制（Recurrent Model Predictive Control）

准大一 · 自动化 × 智能驾驶控制 × 深度学习 —— 递归模型预测控制精读材料
原文：arXiv:2102.11736 2021年2月23日发布 arXiv 预印本（eess.SY · cs.AI） 模型预测控制 × 循环神经网络 × 计算资源自适应 附英文摘要朗读音频

一、论文档案

英文标题Recurrent Model Predictive Control
中文标题递归模型预测控制（用循环神经网络离线学策略、在线按算力自适应预测时域长度的 RMPC 算法）
作者刘正宇, 段京良, 王文轩, 李升波, 尹玉明, 林子玉, 孙琪, 程波（机构未在素材中标注）
发布时间2021年2月23日（v1）｜分类：eess.SY（系统与控制）、cs.AI（人工智能）
原文链接arxiv.org/abs/2102.11736　·　全文 HTML 版
一句话概括传统 MPC 每个时刻都要在线解优化、还只能用固定预测步数；本文用循环神经网络离线学一个策略函数——让网络递归 N 次就等价于展开成 N 步 MPC，于是预测时域变成「按当前算力随时伸缩的旋钮」，在线只需前向推理，比传统 MPC 快 5 倍以上。
💡 为什么选这篇给你：① 直击 MPC 最痛的「计算效率」问题，思路极简：把「解优化」换成「算网络」；② 用贝尔曼最优性原理补上「逼近之后最优性还在不在」的证明，深度学习和控制理论两头都占；③ 作者团队来自智能驾驶领域（清华系），应用背景清晰，故事完整。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
Model Predictive Control (MPC)模型预测控制在线滚动求解有限时域最优控制问题的方法：预测未来、解优化、只执行第一步、再滚动。
finite-horizon optimal control有限时域最优控制在固定的一段时域内把控制问题写成优化问题求解。
prediction horizon预测时域（预测步数）MPC 一次往前看多少步；步数越多性能通常越好，但每步计算量也越大。
moving blocking移动阻塞技术假设预测时域中固定一段的控制输入恒定，减少待优化变量数以提速——但牺牲稳定性与约束保证。
explicit MPC显式 MPC离线把状态空间划分成区域、每个区域算好显式反馈律，在线查表；存储随状态维数指数增长，只适合小系统。
recurrent function / RNN递归函数 / 循环神经网络带内部循环结构的函数：同样的权重被反复使用，输出依赖历史，天然适合「递归 N 次 = N 步」的展开。
Bellman's principle of optimality贝尔曼最优性原理最优策略的「任意后缀子策略」也最优；据此可把长时域代价函数分解成可递归优化的形式。
policy function策略函数把系统状态与参考值直接映射为控制输入的函数（本文用 RNN 逼近它）。
recurrent cycle递归循环次数策略网络被重复计算的次数；N 次递归的输出对应 N 步 MPC 的近似最优解。
non input-affine systems非输入仿射系统控制输入不以「线性+常数」形式进入系统方程的非线性系统，比输入仿射系统更难处理。
off-line algorithm离线算法重活（训练/优化）在部署前完成，在线只做轻量推理的算法。
HIL experiment硬件在环实验把真实控制器硬件接进仿真回路（Hardware-In-the-Loop）的实验，比纯仿真更接近实车/实机。
computation efficiency计算效率本文要解决的核心痛点：传统 MPC 在线求解优化太慢，难以满足非线性、大规模系统的实时需求。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
This paper proposes an off-line algorithm, called Recurrent Model Predictive Control (RMPC), to solve general nonlinear finite-horizon optimal control problems.
CN · 翻译
本文提出一种离线算法——递归模型预测控制（RMPC），用于求解一般的非线性有限时域最优控制问题。
EN · 原文
Unlike traditional Model Predictive Control (MPC) algorithms, it can make full use of the current computing resources and adaptively select the longest model prediction horizon.
CN · 翻译
与传统 MPC 算法不同，它能充分利用当前计算资源，自适应地选择最长的模型预测时域。
EN · 原文
Our algorithm employs a recurrent function to approximate the optimal policy, which maps the system states and reference values directly to the control inputs.
CN · 翻译
我们的算法用一个递归函数逼近最优策略，把系统状态与参考值直接映射为控制输入。
EN · 原文
The number of prediction steps is equal to the number of recurrent cycles of the learned policy function.
CN · 翻译
预测步数等于所学策略函数的递归循环次数。
EN · 原文
With an arbitrary initial policy function, the proposed RMPC algorithm can converge to the optimal policy by directly minimizing the designed loss function.
CN · 翻译
从任意初始策略函数出发，RMPC 算法都能通过直接最小化设计好的损失函数，收敛到最优策略。
EN · 原文
We further prove the convergence and optimality of the RMPC algorithm thorough Bellman optimality principle, and demonstrate its generality and efficiency using two numerical examples.
CN · 翻译
我们进一步借助贝尔曼最优性原理证明了 RMPC 算法的收敛性与最优性，并用两个数值算例展示了其通用性与效率。

关键词 Keywords：Model Predictive Control 模型预测控制 ｜ Recurrent Neural Network 循环神经网络 ｜ Prediction Horizon 预测时域 ｜ Bellman Optimality 贝尔曼最优性

四、引言精选（为什么这个问题重要）

① MPC 的最大痛点：在线计算效率低

EN · 原文
Model Predictive Control (MPC) is a well-known method to solve finite-horizon optimal control problems online, which has been extensively investigated in various fields [1, 2, 3]. However, existing MPC algorithms still suffer from a major challenge: relatively low computation efficiency [4].
CN · 翻译
模型预测控制（MPC）是一种广为人知的在线求解有限时域最优控制问题的方法，已在多个领域得到广泛研究 [1, 2, 3]。然而，现有 MPC 算法仍面临一个重大挑战：计算效率相对较低 [4]。

② 已有提速思路与它们的局限

EN · 原文
One famous approach to tackle this issue is the moving blocking technique, which assumes constant control input in a fixed portion of the prediction horizon. It increases the computation efficiency by reducing the number of variables to be optimized [5]. However, this solution cannot guarantee the system stability and constraint satisfaction. In addition, Wang and Boyd (2009) proposed an early termination interior-point method to reduce the calculation time by limiting the maximum number of iterations per time step [6]. However, these methods are still unable to meet the online computing requirement for nonlinear and large-scale systems. Some control algorithms choose to calculate an near-optimal explicit policy offline, and then implement it online. Bemporad et al. (2002) first proposed the explicit MPC method to increase the computation efficiency, which partitioned the constrained state space into several regions and calculated explicit feedback control laws for each region [7]. During online implementation, the on-board computer only needs to choose the corresponding state feedback control law according to the current system state, thereby reducing the burden of online calculation to some extent. Such algorithms are only suitable for small-scale systems, since the required storage capacity grows exponentially with the state dimension [8].
CN · 翻译
一个著名的思路是移动阻塞技术：假设预测时域中固定一段内控制输入恒定，通过减少待优化变量数来提升计算效率 [5]，但它无法保证系统稳定性与约束满足。此外，Wang 和 Boyd（2009）提出早停内点法，通过限制每个时间步的最大迭代次数来缩短计算时间 [6]。但这些方法仍难以满足非线性、大规模系统的在线计算需求。另一些算法选择离线算出一个近最优的显式策略、在线直接查表执行：Bemporad 等人（2002）首先提出显式 MPC，把受约束状态空间划分成若干区域，为每个区域离线算好显式反馈控制律 [7]。在线实现时，机载计算机只需按当前状态选择对应反馈律，从而一定程度上减轻在线计算负担。但这类算法只适合小规模系统，因为所需存储容量随状态维数指数增长 [8]。

③ 核心矛盾：预测步数越多越好，机载算力却动态变化

EN · 原文
Noted that the policy performance and the computation time for each step usually increase with the number of prediction steps. The above-stated algorithms usually have to make a trade-off between control performance and computation time constraints, and select a conservative fixed prediction horizon. While the on-board computation resources are often changing dynamically. These algorithms thus usually lead to calculation timeouts or resources waste. In other words, these algorithms cannot adapt to the dynamic allocation of computing resources and make full use of the available computing time to select the longest model prediction horizon.
CN · 翻译
注意，策略性能与每步计算时间通常都随预测步数增加而上升。上述算法不得不在「控制性能」与「计算时间约束」之间做取舍，选一个保守的固定预测时域；而机载计算资源往往是动态变化的。于是这些算法要么计算超时、要么浪费算力。换句话说，它们无法适应计算资源的动态分配，也无法充分利用可用计算时间去选择最长的模型预测时域。
💡 这是全文最有味道的一句：“The number of prediction steps is equal to the number of recurrent cycles of the learned policy function.”——把「预测时域」从算法的一个固定超参数，变成网络递归次数的旋钮。算力富余就多递归几次，这就是「计算资源自适应」的全部秘密。

五、论文贡献（3 个要点）

EN · 原文
1. A recurrent policy function. A recurrent function is employed to approximate the optimal policy, which maps the system states and reference values directly to the control inputs. Compared to previous algorithms employing non-recurrent functions (such as multi-layer NNs), which must select a fixed prediction horizon previously [13, 14, 15, 16], the use of recurrent structure makes the algorithm be able to select appropriate model prediction horizon according to current computing resources. In particular, the output of the learned policy function after N recurrent cycles corresponds to the nearly optimal solution of N-step MPC.
CN · 翻译
1. 递归策略函数。用递归函数逼近最优策略，把系统状态与参考值直接映射为控制输入。与以往必须预先选定固定预测时域的非递归函数方法（如多层神经网络）[13, 14, 15, 16] 相比，递归结构让算法能按当前计算资源选择合适的模型预测时域。特别地，学到的策略函数经过 N 次递归循环后的输出，就对应 N 步 MPC 的近似最优解。
EN · 原文
2. A policy optimization objective via Bellman decomposition. A policy optimization objective is designed by decomposing the MPC cost function according to the Bellman's principle of optimality. The optimal recurrent policy can be obtained by directly minimizing the designed objective function. Therefore, unlike the traditional explicit MPC algorithms [7, 8, 9, 10, 11, 12] that can only handle linear systems, the proposed algorithm is applicable for general nonlinear and non input-affine systems. Meanwhile, the proposed RMPC algorithm utilizes the recursiveness of Bellman's principle. When the cost function of the longest prediction is optimized, the cost function of short prediction will automatically be optimal. Thus the proposed algorithm can deals with different shorter prediction horizons problems while only training with an objective function with respect to a long prediction horizons.
CN · 翻译
2. 按贝尔曼原理分解的策略优化目标。按贝尔曼最优性原理分解 MPC 代价函数，设计策略优化目标；直接最小化该目标即可得到最优递归策略。因此，与只能处理线性系统的传统显式 MPC [7, 8, 9, 10, 11, 12] 不同，本文算法适用于一般非线性、非输入仿射系统。同时，RMPC 利用了贝尔曼原理的递归性：当最长预测的代价函数被优化时，较短预测的代价函数自动达到最优。于是，只用针对长预测时域的目标函数训练一次，就能处理各种更短预测时域的问题。
EN · 原文
3. Fast online inference. The proposed RMPC algorithm calculates the optimal control policy previously so only needs to eval the forward inferencing process while using online. Expriments shows that it is over 5 times faster than the traditional MPC algorithms [17, 18] under the same problem scale.
CN · 翻译
3. 在线只需前向推理。所提出的 RMPC 算法提前算好最优控制策略，在线使用时只需执行前向推理。实验表明，在相同问题规模下，它比传统 MPC 算法快 5 倍以上 [17, 18]。

六、结论中英对照

EN · 原文
This paper proposes the Recurrent Model Predictive Control (RMPC) algorithm to solve general nonlinear finite-horizon optimal control problems. Unlike traditional MPC algorithms, it can make full use of the current computing resources and adaptively select the longest model prediction horizon. Our algorithm employs an RNN to approximate the optimal policy, which maps the system states and reference values directly to the control inputs. The output of the learned policy network after N recurrent cycles corresponds to the nearly optimal solution of N-step MPC. A policy optimization objective is designed by decomposing the MPC cost function according to the Bellman's principle of optimality.The optimal recurrent policy can be obtained by directly minimizing the designed objective function, which is applicable for general nonlinear and non input-affine systems. The convergence and optimality of RMPC is further proved. We demonstrate its optimality, generality and efficiency using a HIL experiment. Results show that RMPC is over 5 times faster than the traditional MPC algorithm. The control performance of the learned policy can be further improved as the number of recurrent cycles increases.
CN · 翻译
本文提出递归模型预测控制（RMPC）算法，用于求解一般的非线性有限时域最优控制问题。与传统 MPC 算法不同，它能充分利用当前计算资源、自适应选择最长的模型预测时域。我们的算法用 RNN 逼近最优策略，把系统状态与参考值直接映射为控制输入；学到的策略网络经过 N 次递归循环后的输出对应 N 步 MPC 的近似最优解。通过按贝尔曼最优性原理分解 MPC 代价函数，我们设计了策略优化目标，直接最小化该目标即可得到最优递归策略，适用于一般非线性、非输入仿射系统。RMPC 的收敛性与最优性得到了进一步证明。我们通过硬件在环（HIL）实验展示了其最优性、通用性与效率：结果表明 RMPC 比传统 MPC 算法快 5 倍以上，且随着递归循环次数增加，所学策略的控制性能还能进一步提升。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：MPC 每步都要在线解一个优化问题，算不快；显式 MPC 离线查表，但状态维数一高就存不下。更麻烦的是——预测步数越多效果越好，但机载算力是动态变化的，固定时域要么超时要么浪费。
  2. 做法：把「解优化」换成「算网络」。离线用 RNN 学一个策略函数，在线只做前向推理。关键洞察：让网络递归 N 次 = 展开成 N 步 MPC，所以「预测时域」变成了「想算几步就递归几次」——算力富余时自然就选最长的时域。
  3. 结果：理论上按贝尔曼原理证明了收敛与最优；硬件在环实验显示比传统 MPC 快 5 倍以上，且递归次数越多性能越好。
  4. 最值钱的观点：预测时域不再是个固定超参数，而是一个可随算力动态伸缩的旋钮——这是「计算资源感知控制」（computation-aware control）的漂亮范例。
  5. 工程意义：智能驾驶、机器人等实时性要求高的场景中，「优化求解 → 网络前向」是主流工程路线；这篇给出了带最优性保证的替代方案，还顺带解决了长时域训练一次、短时域通吃的复用问题。
🎯 对保研的启示：本文示范了「用深度网络逼近经典算法」的标准动作——逼近之后必须回答「最优性还在不在」，作者用贝尔曼原理补上了证明。复试时若能讲清「我用网络替换了什么、保留了哪些保证、代价是什么」，就是妥妥的加分项。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——RMPC 用什么替代了在线优化？预测时域怎么变成「递归次数」？快多少？
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「固定时域的两难（超时 or 浪费）」和「贝尔曼原理为什么让长短时域可以共用一次训练」。
  3. 第三遍（30 分钟）：读方法文字部分（递归策略、代价函数分解、HIL 实验），跳过所有公式和编号，只看文字描述；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出数字（over 5 times faster、two numerical examples、N recurrent cycles）和术语（RMPC、recurrent function、prediction horizon、Bellman optimality）。