晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

自适应模型预测控制中的主动探索（Active Exploration in Adaptive MPC）

准大一 · 自动化 × 自适应控制 × 优化与控制 —— 对偶自适应 MPC 主动探索精读材料
原文：arXiv:2003.14120 2020年3月31日发布 arXiv 预印本（eess.SY · math.OC） 对偶控制 × 自适应MPC × 主动探索 附英文摘要朗读音频

一、论文档案

英文标题Active exploration in adaptive model predictive control
中文标题自适应模型预测控制中的主动探索（把「学习」与「控制」放进同一个优化问题：用预测最坏情形代价引导控制器主动试探关键参数区域）
作者阿尼尔库马尔·帕尔西, 安德烈亚·扬内利, 罗伊·S·史密斯（机构未在素材中标注）
发布时间2020年3月31日（v1）｜分类：eess.SY（系统与控制）、math.OC（优化与控制）
原文链接arxiv.org/abs/2003.14120　·　全文 HTML 版
一句话概括对状态空间矩阵含参数不确定性的线性时不变系统，提出一种对偶自适应 MPC 算法：用双状态管把「可行性」与「学习」解耦，在目标函数里放「预测状态管上的最坏情形代价」，让控制输入主动探索「对性能影响最大」的参数区域——而不是像现有方法那样被动等辨识结果。
💡 为什么选这篇给你：① 「边学边控」是自适应控制的核心矛盾，本文给出了把学习目标正式写进 MPC 优化问题的完整框架；② 与上一篇（2102.13544 四旋翼 RAMPC）同门同源（同一团队），对照着读能看清一条研究线的演化；③ 非凸在线优化 + 管状 MPC + 集员辨识，三大工具箱一网打尽，数学建模能力强的人会很喜欢。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
adaptive control自适应控制用测量数据实时更新控制器参数的控制技术。
certainty equivalence确定性等价原则把参数估计值当成真实值来设计控制器——简单但忽略了不确定性本身。
gain scheduling增益调度按工作点查表切换控制器增益的传统自适应方法。
Model Predictive Control (MPC)模型预测控制滚动求解有限时域优化问题的控制方法，天然便于整合模型自适应。
set-membership identification集员辨识用测量数据把不确定参数约束到不断缩小的集合里，保证真参数始终在集合内。
recursive least-squares递推最小二乘一种经典的在线参数估计方法，逐样本更新参数估计。
passive adaptation被动自适应只把辨识结果「喂」给控制器、控制输入不主动为辨识服务的自适应方式（现有方法的通病）。
dual control对偶控制同时考虑「控制」与「学习（辨识）」两个目标的控制：输入既驱动系统，也采集信息。
active exploration主动探索控制输入有意识地减小「对性能影响最大」的参数区域的不确定性，而不是无差别加激励。
persistent excitation持续激励输入信号持续「刺激」系统，保证参数可辨识的条件；本文指出过度激励会牺牲性能。
probing effect探测效应为学习而额外施加的试探性控制分量；怎么加、加多少是双控制的核心问题。
tube-MPC管状 MPC用一族状态轨迹（「管」）包住所有可能的不确定演化，保证最坏情形下约束仍满足。
worst-case cost最坏情形代价在参数/状态不确定性集合上取最大（最不利）的代价，用它驱动主动探索。
state tube状态管一族状态集合的序列，系统真实状态永远被包在管内。
recursive feasibility递推可行性每步优化若可行，则下一步优化仍然可行——在线优化的「链条不断」性质。
non-convex optimization非凸优化目标或约束非凸的优化问题，本文的在线优化问题就是非凸的，但可通过管长权衡复杂度。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
A dual adaptive model predictive control (MPC) algorithm is presented for linear, time-invariant systems subject to bounded disturbances and parametric uncertainty in the state-space matrices.
CN · 翻译
针对受有界扰动与状态空间矩阵参数不确定性影响的线性时不变系统，提出一种对偶自适应模型预测控制（MPC）算法。
EN · 原文
Online set-membership identification is performed to reduce the uncertainty and thus control affects both the informativity of identification and the system's performance.
CN · 翻译
算法在线执行集员辨识来减小不确定性，因此控制输入既影响辨识的信息量，也影响系统的性能。
EN · 原文
The main contribution of the paper is to include this dual effect in the MPC optimization problem using a predicted worst-case cost in the objective function.
CN · 翻译
本文的主要贡献是：在 MPC 优化问题的目标函数中使用预测的最坏情形代价，把这个对偶效应纳入优化。
EN · 原文
This allows the controller to perform active exploration, that is, the control input reduces the uncertainty in the regions of the parameter space that have most influence on the performance.
CN · 翻译
这让控制器能够进行主动探索——即控制输入会减小参数空间中「对性能影响最大」区域的不确定性。
EN · 原文
Additionally, the MPC algorithm ensures robust constraint satisfaction of state and input constraints.
CN · 翻译
此外，该 MPC 算法还保证状态约束与输入约束的鲁棒满足。
EN · 原文
Advantages of the proposed algorithm are shown by comparing it to a passive adaptive MPC algorithm from the literature.
CN · 翻译
通过与文献中的一种被动自适应 MPC 算法对比，展示了所提算法的优势。

关键词 Keywords：Adaptive MPC 自适应MPC ｜ Dual Control 对偶控制 ｜ Active Exploration 主动探索 ｜ Set-Membership Identification 集员辨识

四、引言精选（为什么这个问题重要）

① 背景：自适应控制 × MPC，天然的一对

EN · 原文
Adaptive control is a technique where the controller parameters are updated using measurement data. Conventional methods of adaptive control like gain scheduling are based on certainty equivalence, and neglect the model uncertainties [1]. For this reason, they cannot handle constraints on states and inputs of the system. Model predictive control (MPC) is a popular technique since it guarantees stability and constraint satisfaction under uncertainty [2]. The structure of MPC controllers facilitates easy integration of model adaptation into the controller. Utilizing this advantage, a variety of adaptive MPC schemes have been proposed in the recent past using different model structures (state-space, impulse response, etc.) and adaptation methods (set-membership identification, recursive least-squares, etc.) [3, 4, 5, 6].
CN · 翻译
自适应控制是一种用测量数据更新控制器参数的技术。增益调度等传统方法基于确定性等价原则，忽略了模型不确定性 [1]，因此无法处理系统的状态与输入约束。模型预测控制（MPC）之所以流行，是因为它在不确定性下仍能保证稳定性与约束满足 [2]。MPC 的结构使其很容易把模型自适应整合进来。利用这一优势，近年来涌现了各种自适应 MPC 方案，采用不同的模型结构（状态空间、脉冲响应等）与不同的自适应方法（集员辨识、递推最小二乘等）[3, 4, 5, 6]。

② 现有方法的通病：自适应是「被动」的

EN · 原文
An adaptive MPC algorithm using set-membership identification is proposed in [4], which ensures robust constraint satisfaction for systems affected by bounded measurement noise. An extension of this algorithm was proposed in [7], where a worst-case cost is used to improve robustness of the performance. The algorithm uses an impulse response model which depends on a large number of parameters. An alternative method has been proposed in [5] which uses uncertain state-space models subject to bounded disturbances. Using tube-MPC, the algorithm ensures robust constraint satisfaction while reducing the uncertainty online. However, in all these methods the adaptation is passive, that is, the MPC optimizer does not exploit the fact that identification and control are being simultaneously performed.
CN · 翻译
文献 [4] 提出一种使用集员辨识的自适应 MPC 算法，对受有界测量噪声影响的系统保证鲁棒约束满足；[7] 又扩展了该算法，用最坏情形代价提升性能鲁棒性，但它使用依赖大量参数的脉冲响应模型。文献 [5] 提出另一种方法：使用受有界扰动的不确定状态空间模型，借助管状 MPC 在在线减小不确定性的同时保证鲁棒约束满足。然而，所有这些方法中的自适应都是被动的——MPC 优化器并没有利用「辨识与控制正在同时进行」这一事实。

③ 对偶控制：让控制输入「为学习服务」

EN · 原文
These disadvantages can be addressed using dual control [8], a technique which computes control inputs under decision relevant, reducible uncertainty. An optimal dual control problem can be formulated by modeling the dependence of uncertainty reduction on the control inputs. The solution to this problem is given by dynamic programming, whose computational complexity is high [9]. Instead, the existing dual control algorithms approximate the optimal control problem using heuristics to add a probing effect on the control input. In [10], an adaptive MPC algorithm is presented with a constraint on the control input to ensure persistent excitation. Though parameter convergence is guaranteed, this method could result in excessive probing, especially after the uncertainty is reduced. In [11], the parameter error covariance is penalized in the objective function of MPC. However, a lower covariance of the parameter uncertainty might not always translate into improved performance, and the cost function requires tuning the probing effect.
CN · 翻译
这些缺点可以用对偶控制 [8] 来解决——一种在「与决策相关、且可被减小」的不确定性下计算控制输入的技术。把不确定性减小对控制输入的依赖建模出来，可以构造最优对偶控制问题；其解由动态规划给出，计算复杂度很高 [9]。因此，现有对偶控制算法都用启发式近似，给控制输入加上「探测」效应：文献 [10] 提出一种自适应 MPC 算法，对控制输入施加约束以保证持续激励——虽然参数收敛有保证，但可能过度探测，尤其在不确定性已经减小之后；文献 [11] 在 MPC 目标函数中惩罚参数误差协方差——但协方差更低并不总意味着性能更好，而且代价函数还要手动调探测效应的权重。

④ 正解方向：用「最坏情形代价」而不是「几何度量」来驱动探索

EN · 原文
These problems can be mitigated by using an application-oriented approach to dual control [12], [13]. Here the probing effect is induced by using a measure of the robust performance, such as worst-case cost, instead of geometric measures of uncertainty. This ensures that active exploration is performed, that is, the uncertainty is reduced in regions of parameter space to improve the control performance.
CN · 翻译
这些问题可以用面向应用的对偶控制方法 [12, 13] 缓解：用鲁棒性能的度量（如最坏情形代价）而非不确定性的几何度量来诱发探测效应，从而保证执行主动探索——即让不确定性在「对控制性能影响最大」的参数空间区域被减小。
💡 这是全文最有味道的一句：“the MPC optimizer does not exploit the fact that identification and control are being simultaneously performed.”——一句话点出现有自适应 MPC 的集体盲区：辨识和控制明明在同一条闭环里进行，控制器却假装不知道。主动探索 = 把这件事「摊开来讲」。

五、论文贡献（3 个要点）

EN · 原文
1. Active exploration in a dual adaptive MPC framework. The main contribution of this paper is to formulate active exploration in a dual adaptive MPC framework. For this purpose, the regulation of a linear, time-invariant system with affine uncertainty in the state space matrices is considered. The system is subject to bounded disturbances and must satisfy state and input constraints.
CN · 翻译
1. 在双自适应 MPC 框架中形式化主动探索。本文的主要贡献：在双自适应 MPC 框架中形式化「主动探索」。为此，考虑状态空间矩阵带仿射不确定性的线性时不变系统的调节问题；系统受有界扰动影响，且必须满足状态与输入约束。
EN · 原文
2. Decoupling feasibility and learning with two state tubes. Using an approach similar to [14], the problems of feasibility and learning are decoupled by using two state tubes. A robust state tube is used to ensure feasibility for all model parameters in an initial parameter set, which can be large. A predicted parameter set is then defined as a function of the control input, and a predicted state tube is constructed such that it is robust to uncertainties in predicted parameter set.
CN · 翻译
2. 用两条状态管把「可行性」与「学习」解耦。借鉴 [14] 的思路，用两条状态管把「可行性」与「学习」两个问题解耦：一条鲁棒状态管保证初始参数集（可能很大）内所有模型参数下都可行；再定义预测参数集（它是控制输入的函数），构造预测状态管，使其对预测参数集内的不确定性鲁棒。
EN · 原文
3. Worst-case cost with a tunable trade-off. The cost function is defined as the worst-case cost over the predicted state tube. The algorithm requires a non-convex optimization problem to be solved online. The algorithm has the flexibility to trade-off between the computational complexity and quality of active exploration using the length of the predicted state tube. The performance of the algorithm with varying predicted state tube lengths is compared to a passive adaptive MPC algorithm using numerical simulations.
CN · 翻译
3. 最坏情形代价 + 可调权衡。代价函数定义为预测状态管上的最坏情形代价。算法需要在线求解一个非凸优化问题，并可通过调节预测状态管的长度，在计算复杂度与主动探索质量之间灵活取舍。数值仿真中，把不同预测状态管长度下的算法性能与一种被动自适应 MPC 算法做了对比。

六、结论中英对照

EN · 原文
A dual adaptive MPC scheme was presented for systems with parametric uncertainty in state-space matrices. The algorithm uses online set-membership identification to reduce the uncertainty in the parameters and a tube MPC approach to ensure robust constraint satisfaction. A predicted state-tube is used to capture the effect of the future control inputs on identification, and a predicted worst-case cost is optimized. The resulting optimization problem in the MPC is non-convex, but offers the flexibility to trade-off the computational complexity with performance. The algorithm ensures recursive feasibility and consistency of the parameter set, and performs better compared to a passive adaptive MPC approach from literature while regulating a system.
CN · 翻译
本文为状态空间矩阵含参数不确定性的系统提出了一种对偶自适应 MPC 方案。算法用在线集员辨识减小参数不确定性，用管状 MPC 方法保证鲁棒约束满足；用预测状态管捕捉未来控制输入对辨识的影响，并优化预测的最坏情形代价。由此得到的 MPC 优化问题是非凸的，但提供了「计算复杂度与性能」之间灵活权衡的空间。算法保证递推可行性与参数集的一致性，且在调节系统时优于文献中的被动自适应 MPC 方法。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：自适应控制想「边学边控」，但学与控会互相干扰——控制输入既决定系统性能，又决定下一步能辨识出多少信息。现有方法只是把辨识结果喂给控制器（被动），从不为「学得更好」主动调整控制；强行加持续激励又容易过度试探、白费力气。
  2. 做法：把「辨识信息量」正式写进 MPC 的目标函数——用两条状态管把「安全可行」和「主动学习」分开保证，再用「预测状态管上的最坏情形代价」引导控制输入，主动去试探「对性能影响最大的参数区域」，而不是无差别加激励。
  3. 结果：相比文献中的被动自适应 MPC，主动探索在数值仿真的调节任务中表现更好；参数集保持一致性与递推可行性，鲁棒约束始终满足。
  4. 最值钱的观点：「学习」和「控制」的取舍不该靠拍脑袋——用最坏情形代价把二者放进同一个优化问题，探测自然发生在最值得探测的地方。这就是「面向应用的对偶控制」的精髓：为性能而学，不为学而学。
  5. 工程意义：无人机、机器人、过程控制里参数总会变（载荷变化、磨损、环境改变）；主动探索 = 系统自己知道「什么时候该多试一点」，既避免参数长期不准，又不浪费控制能量。
🎯 对保研的启示：本文示范了「把两个耦合问题解耦再统一优化」的建模功夫——双状态管解耦可行性/学习，最坏情形代价统一目标。复试时若能画出「哪条约束保证安全、哪个目标驱动学习、二者如何在一个优化问题里共存」的图景，就是很高级的加分展示。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——「被动」和「主动」探索差在哪？最坏情形代价为什么能驱动主动探索？两条状态管各管什么？
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会对偶控制三种做法的递进（强制激励 → 罚协方差 → 最坏情形代价），以及结论里坦承的边界（非凸、需在线求解）。
  3. 第三遍（30 分钟）：读方法文字部分（集员辨识、两条状态管、代价函数），跳过所有公式和编号，只看文字描述；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出术语 dual adaptive MPC、set-membership identification、predicted worst-case cost、active exploration、passive adaptive MPC。