晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

多模态大语言模型用于视觉导航：不堆提示词，直接微调出会导航的 AI

准大一 · 计算机科学与技术 × 人工智能 × 具身智能 —— 视觉导航精读材料
原文：arXiv:2310.08669 2023年10月12日发布 arXiv 预印本（cs.CV / cs.RO） 视觉导航 × 大模型微调 × 行为克隆 附英文摘要朗读音频

一、论文档案

英文标题Multimodal Large Language Model for Visual Navigation
中文标题多模态大语言模型用于视觉导航（面向视觉导航的多模态大语言模型）
作者蔡耀鸿, 范什·达尔, 李嘉璐, 张博文, 张健（机构未在素材中标注）
发布时间2023年10月12日（v1）｜分类：cs.CV（计算机视觉）/ cs.RO（机器人学）
原文链接arxiv.org/abs/2310.08669
一句话概括别人把指令、观察、历史全写成超长提示词喂给大模型；这篇论文反其道而行——用「观察-动作对」直接微调大语言模型，输入简单文字+当前观察+历史，输出下一步动作的概率分布。
💡 为什么选这篇给你：① 视觉导航是「具身智能」（让 AI 在真实/模拟世界里动起来）的核心任务，也是大模型落地机器人的热门方向；② 思路极简清晰——别人堆提示词，它直接微调，还输出动作概率分布而不是硬选一个动作，一句话就能讲明白；③ 训练数据用真实的 Habitat-Matterport 3D 场景（HM3D），方法可复现、故事完整。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
visual navigation视觉导航让智能体（机器人/虚拟角色）看懂周围环境，并据此移动到目标位置。
large language model (LLM)大语言模型在海量文本上训练出的「会说话」的神经网络，能理解并生成自然语言。
multimodal多模态同时处理多种类型的信息：文本、图像、声音、GPS、指南针等。
prompt engineering提示工程精心设计输入文本（把指令、观察、历史全塞进去），引导模型输出想要的结果。
prompt system提示系统把导航所需的全部信息拼成超长文本提示的整套设计。
fine-tuning微调在预训练大模型基础上，用任务数据继续训练，让它变成某个领域的专家。
behavior cloning行为克隆模仿学习的一种：直接照着人类示范的「状态→动作」样本学习。
history collector model历史收集器模型汇总之前时刻观察信息、生成「历史令牌」的小模型。
observation tokens观察令牌把当前视觉画面、GPS、指南针编码成的向量表示。
probability distribution over actions动作概率分布给每个候选动作一个概率（如左转 0.7、前进 0.3），而不是硬选一个。
collision signals碰撞信号训练时告诉模型「这样做会撞上障碍物」的惩罚信号。
human demonstrations人类示范真人演示的「看到什么→做什么动作」样本数据。
HM3D (Habitat-Matterport 3D Dataset)HM3D 三维场景数据集含 1000 个真实室内三维场景的具身智能训练数据集。
object goal navigation目标物体导航让智能体找到并移动到指定物体（如椅子、电视）面前的任务。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
Recent efforts to enable visual navigation using large language models have mainly focused on developing complex prompt systems.
CN · 翻译
近期用大语言模型做视觉导航的工作，主要都集中在开发复杂的提示系统（prompt system）上。
EN · 原文
These systems incorporate instructions, observations, and history into massive text prompts, which are then combined with pre-trained large language models to facilitate visual navigation.
CN · 翻译
这些系统把指令、观察和历史信息统统塞进巨大的文本提示里，再交给预训练大语言模型来辅助导航。
EN · 原文
In contrast, our approach aims to fine-tune large language models for visual navigation without extensive prompt engineering.
CN · 翻译
与之相反，我们的方法目标是直接微调大语言模型来做视觉导航，不需要大量提示工程。
EN · 原文
Our design involves a simple text prompt, current observations, and a history collector model that gathers information from previous observations as input.
CN · 翻译
我们的设计输入很简单：一段简短的文本提示 + 当前观察 + 一个历史收集器模型（负责汇总之前观察到的信息）。
EN · 原文
For output, our design provides a probability distribution of possible actions that the agent can take during navigation.
CN · 翻译
输出方面，我们的设计给出智能体在导航中可采取动作的概率分布。
EN · 原文
We train our model using human demonstrations and collision signals from the Habitat-Matterport 3D Dataset (HM3D).
CN · 翻译
我们用来自 Habitat-Matterport 3D 数据集（HM3D）的人类示范和碰撞信号来训练模型。
EN · 原文
Experimental results demonstrate that our method outperforms state-of-the-art behavior cloning methods and effectively reduces collision rates.
CN · 翻译
实验结果表明，我们的方法优于最先进的行为克隆方法，并且有效降低了碰撞率。

关键词 Keywords：Visual Navigation 视觉导航 ｜ Multimodal Large Language Model 多模态大语言模型 ｜ Behavior Cloning 行为克隆 ｜ HM3D 三维场景数据集

四、引言精选（为什么这个问题重要）

① 视觉导航：移动智能体的关键能力

EN · 原文
Visual navigation is a crucial feature for mobile agents, allowing them to process visual inputs and generate corresponding actions. This technology finds applications in various fields, including elder care, autonomous driving, and logistics delivery. However, solving visual navigation is a complex task that requires a comprehensive understanding of different environments and the implementation of safety measures to protect both the agent and the surrounding objects.
CN · 翻译
视觉导航是移动智能体的关键能力，让它们能处理视觉输入并产生相应的动作。这项技术在老人护理、自动驾驶、物流配送等领域都有应用。然而，解决视觉导航是个复杂任务：需要对不同环境有全面的理解，还要有保护智能体与周围物体的安全措施。

② LLM 浪潮与「提示系统」路线的流行

EN · 原文
In recent years, the emergence of large language models (LLMs) has transformed artificial intelligence and business. These models have found applications in document drafting, storytelling, grammar checking, and more. Researchers have also explored the use of LLMs for visual navigation, focusing on developing complex prompt systems.
CN · 翻译
近年来，大语言模型（LLM）的出现改变了人工智能和商业格局：文档起草、讲故事、语法检查……研究者也开始尝试用 LLM 做视觉导航，主流思路是开发复杂的提示系统。

③ 提示路线的局限：预训练 LLM 只懂文本

EN · 原文
These systems incorporate instructions, observations, and history into text prompts, which are then combined with pre-trained LLMs to facilitate visual navigation. However, a limitation of this approach is that pre-trained LLMs are typically trained only with text data and may not be best suited for tasks that require an understanding of other modalities, such as visual observations, GPS information, and compass data.
CN · 翻译
这类系统把指令、观察和历史编进文本提示，再与预训练 LLM 结合来导航。但局限在于：预训练 LLM 通常只学过文本数据，并不擅长理解其他模态的信息——比如视觉画面、GPS 位置、指南针朝向。

④ 本文路线：用「观察-动作对」直接微调

EN · 原文
To address this limitation, recent work has focused on fine-tuning LLMs using additional image-text pairs. This approach enables LLMs to answer questions about images or generate stories that interleave text and images. Building upon this, we propose to fine-tune LLMs specifically for visual navigation using observation-action pairs. During inference, LLMs directly process observations and generate low-level guidelines for the agent to follow, eliminating the need for extensive prompt system design.
CN · 翻译
为解决这个局限，近期的研究开始用图文对来微调 LLM，让模型能回答图像问题、生成图文交错的故事。在此基础上，我们提出用「观察-动作对」专门为视觉导航微调 LLM：推理时 LLM 直接处理观察、生成智能体要遵循的底层指令，彻底免去复杂的提示系统设计。
💡 这是全文最有味道的一句："During inference, LLMs directly process observations and generate low-level guidelines for the agent to follow, eliminating the need for extensive prompt system design."——别人费尽心思设计提示词，这篇论文的选择是：让模型自己「看」，然后直接告诉智能体往哪走。先把「输入输出」定义得足够简单，问题就解决了一半。

五、论文贡献（4 个要点）

EN · 原文
1. A simple input design. Our approach involves utilizing a simple text prompt, current observations (including visual inputs, GPS, and compass values), and a history collector model that gathers information from previous observations. These inputs are transformed into prompt tokens, current observation tokens, and history tokens.
CN · 翻译
1. 极简输入设计。输入只有三样：一段简单文本提示、当前观察（视觉画面、GPS、指南针数值）、以及负责汇总历史观察的历史收集器模型。它们分别被转换成提示令牌、当前观察令牌、历史令牌。
EN · 原文
2. A probability distribution as output. The large language model then processes these tokens and outputs a probability distribution of possible actions for the agent during navigation.
CN · 翻译
2. 输出动作概率分布。大语言模型处理这些令牌后，输出导航中可能动作的概率分布——而不是直接硬选一个动作。
EN · 原文
3. Three training signals. For training, we use human demonstrations on the Habitat-Matterport 3D Dataset (HM3D) to form the probability of actions based on 1) human-demonstrated actions, 2) action probability distributions from state-of-the-art behavior cloning methods, and 3) collision signals.
CN · 翻译
3. 三种训练信号。训练时使用 HM3D 数据集上的人类示范，用三种信号构造动作概率：① 人类示范的动作；② 最先进行为克隆方法给出的动作概率分布；③ 碰撞信号。
EN · 原文
4. Experimental findings. In our experiments, we compare our approach with state-of-the-art behavior cloning methods and observe significant improvements in object goal navigation. We also find that having the large language model output a probability distribution over actions leads to better performance compared to directly outputting the action itself. Additionally, by considering collision signals during training, we observe a decrease in the number of collisions during visual navigation.
CN · 翻译
4. 实验发现。与最先进的行为克隆方法相比，我们在目标物体导航任务上取得了显著提升；还发现「输出动作概率分布」比「直接输出动作」效果更好；训练时考虑碰撞信号，导航中的碰撞次数明显下降。

六、结论中英对照

EN · 原文
In this paper, we explore the fine-tuning of Large Language Models (LLMs) for visual navigation. Unlike previous work, which focuses on complex prompt engineering for visual navigation using LLMs, our approach is simple. We use a basic text prompt, a history collector model that incorporates tokens from past observations, an observation encoding model that embeds observation tokens, and a pre-trained large language model. During training, we employ two tricks based on human demonstrations.
CN · 翻译
本文探索了为视觉导航微调大语言模型。与以往专注于复杂提示工程的路线不同，我们的方法很简单：一个基础文本提示、一个把过去观察编码成令牌的历史收集器、一个嵌入观察令牌的观察编码模型，加上一个预训练大语言模型。训练时，基于人类示范我们用了两个技巧。
EN · 原文
First, instead of directly outputting the action for the agent, we output the probability distribution over all possible actions. Second, we construct this probability distribution using a state-of-the-art behavior cloning method, the action demonstrated by a human, while avoiding actions that cause collisions.
CN · 翻译
第一，不直接输出动作，而是输出所有可能动作的概率分布；第二，用「最先进行为克隆方法的动作分布 + 人类示范的动作」来构造这个概率分布，同时避开会导致碰撞的动作。
EN · 原文
We believe that our work highlights the advantages of fine-tuning LLMs for visual navigation. Our experimental results support this claim, as our approach outperforms state-of-the-art methods.
CN · 翻译
我们相信这项工作凸显了「微调 LLM 做视觉导航」的优势，实验结果也支持这一论断：我们的方法超越了现有最先进方法。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：让机器人在陌生环境里「看懂」并走到目标（比如找到一把椅子），是具身智能的核心任务。之前的 AI 路线是「提示工程」——把指令、观察、历史全部写成超长文本塞给大模型，又慢又笨拙，因为大模型毕竟只学过文字。
  2. 做法：这篇论文把问题简化——输入就是「简短文字 + 当前画面/GPS/指南针 + 历史收集器总结的过往信息」，输出是每个可能动作的概率。训练时用了三个信号：人类示范的动作、行为克隆方法的动作分布、碰撞惩罚。
  3. 结果：在 HM3D（1000 个真实室内三维场景）上训练后，超越了最先进的行为克隆方法，碰撞率明显下降；「输出概率分布」比「直接输出动作」更稳——这符合直觉：拿不准的时候，别把话说死。
  4. 最值钱的观点：与其把大模型当「提示词算命先生」，不如把它当「可微调的大脑」——用任务数据直接训练。这个「少堆提示、多微调」的思路，后来成了多模态大模型落地的通用范式。
  5. 工程意义：导航是服务机器人、自动驾驶、仓储物流机器人的公共底座。概率输出意味着机器人可以在不确定时减速或求助，这是安全性设计的关键一环。
🎯 对保研的启示：这篇论文示范了「把复杂问题做简单」的科研品味——同样的任务，别人靠堆提示词，它靠清晰的输入输出设计 + 三个训练信号。复试时若能讲清楚「我为什么这样设计输入输出、每个设计决定对应什么实验证据」，比堆砌模型名词更能打动导师。另外，顺着这篇论文的参考文献（RT-2、PIRLNav、MiniGPT-4 等）读下去，就能摸清「多模态 → 具身智能」这条技术脉络。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——问题是什么？方法是什么？结果是什么？
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「提示工程路线」与「微调路线」的分歧，以及「概率输出 + 碰撞信号」两个训练技巧为什么有用。
  3. 第三遍（30 分钟）：读方法段落（输入三件套、令牌转换、概率分布输出），跳过所有公式和编号，只看文字描述；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出每个术语（fine-tuning、behavior cloning、collision signals）和数据集（HM3D）。