晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

多模态大语言模型综述：GPT-4V 时代的 MLLM 全景地图

准大一 · 计算机科学与技术 × 多模态 × 大语言模型 —— MLLM 综述精读材料
原文：arXiv:2306.13549 2023年6月23日发布 arXiv 预印本（cs.CV / cs.AI / cs.CL / cs.LG） MLLM 综述 × GPT-4V × 幻觉与扩展技术 附英文摘要朗读音频

一、论文档案

英文标题A Survey on Multimodal Large Language Models
中文标题多模态大语言模型综述：以 GPT-4V 为代表的 MLLM 之基础配方、扩展方向、幻觉问题与三大关键技术
作者尹树康, 傅朝友, 赵思睿, 李克, 孙星, 徐童, 陈恩红（机构未在素材中标注）
发布时间2023年6月23日（v1）｜分类：cs.CV / cs.AI / cs.CL / cs.LG（计算机视觉 / 人工智能 / 计算语言学 / 机器学习）
原文链接arxiv.org/abs/2306.13549　·　全文 HTML 版
一句话概括LLM 会「读」不会「看」，视觉模型会「看」不会「想」——两者融合出的多模态大语言模型（MLLM）以 GPT-4V 为代表，能看图写故事、免 OCR 做数学推理；本文是第一篇系统梳理 MLLM 的综述，并配套持续更新的 GitHub 论文库。
💡 为什么选这篇给你：① 多模态大模型是当下 AI 最热的方向，GPT-4V、文心一言、通义千问的「看图说话」背后都是这套技术；② 这是 MLLM 领域的第一篇综述——读综述是进入一个新领域最高效的方式，这篇就是「入口」；③ 结构教科书级：基础配方（架构/训练/数据/评测）→ 扩展方向 → 多模态幻觉 → M-ICL / M-CoT / LAVR 三大技术，作者还承诺持续更新并开源了论文库，读完它你就有了整个领域的「地图」。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
MLLM (Multimodal Large Language Model)多模态大语言模型以 LLM 为「大脑」、能接收/推理/输出多模态信息（图像、视频、音频等）的模型，GPT-4V 是代表。
LLM (Large Language Model)大语言模型十亿级参数的语言模型，靠放大数据与规模涌现出指令跟随、上下文学习等能力。
LVM (Large Vision Model)大型视觉模型「看得清」但推理能力弱的视觉大模型，如 SAM、DINOv2。
GPT-4VGPT-4VOpenAI 发布的多模态大模型，掀起了 MLLM 研究热潮的时代标杆。
emergent ability涌现能力模型规模增大后突然出现、小模型没有的能力（如看图写故事、免 OCR 数学推理）。
In-Context Learning (ICL)上下文学习不用微调，给几个示例模型就能学会做新任务。
Chain of Thought (CoT)思维链引导模型「先逐步推理、再给答案」，显著提升复杂推理表现。
multimodal instruction tuning多模态指令微调用「图文指令-回答」数据微调模型，让它学会服从新指令。
discriminative paradigm判别式范式如 CLIP：把图像与文本投影到统一表征空间，为下游多模态任务搭桥。
generative paradigm生成式范式如 OFA：用「序列到序列」方式统一各类多模态任务。
multimodal hallucination多模态幻觉模型「一本正经地胡说」——描述出图像/视频里并不存在的内容。
M-ICL / M-CoT / LAVR多模态上下文学习 / 多模态思维链 / LLM 辅助视觉推理三个代表性扩展技术：M-ICL 用于推理阶段提升少样本性能，M-CoT 用于复杂推理，LAVR 是用 LLM 搭建系统解决复合推理任务。
OCR-free math reasoning免 OCR 数学推理直接看题目图片做数学推理，不需要先做文字识别——MLLM 的招牌涌现能力。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
Recently, Multimodal Large Language Model (MLLM) represented by GPT-4V has been a new rising research hotspot, which uses powerful Large Language Models (LLMs) as a brain to perform multimodal tasks.
CN · 翻译
近来，以 GPT-4V 为代表的多模态大语言模型（MLLM）成为新的研究热点——它用强大的大语言模型（LLM）作为「大脑」来执行多模态任务。
EN · 原文
The surprising emergent capabilities of MLLM, such as writing stories based on images and OCR-free math reasoning, are rare in traditional multimodal methods, suggesting a potential path to artificial general intelligence.
CN · 翻译
MLLM 令人惊讶的涌现能力——如看图写故事、免 OCR 数学推理——在传统多模态方法中极为罕见，暗示着一条通往通用人工智能（AGI）的潜在路径。
EN · 原文
To this end, both academia and industry have endeavored to develop MLLMs that can compete with or even better than GPT-4V, pushing the limit of research at a surprising speed.
CN · 翻译
为此，学术界与工业界都在努力研发能媲美甚至超越 GPT-4V 的 MLLM，以惊人的速度推动着研究极限。
EN · 原文
In this paper, we aim to trace and summarize the recent progress of MLLMs.
CN · 翻译
本文旨在梳理并总结 MLLM 的最新进展。
EN · 原文
First of all, we present the basic formulation of MLLM and delineate its related concepts, including architecture, training strategy and data, as well as evaluation.
CN · 翻译
首先，我们给出 MLLM 的基本形式化，并阐明其相关概念，包括架构、训练策略与数据、以及评测。
EN · 原文
Then, we introduce research topics about how MLLMs can be extended to support more granularity, modalities, languages, and scenarios.
CN · 翻译
然后，我们介绍 MLLM 如何扩展到更细粒度、更多模态、更多语言与更多场景的研究主题。
EN · 原文
We continue with multimodal hallucination and extended techniques, including Multimodal ICL (M-ICL), Multimodal CoT (M-CoT), and LLM-Aided Visual Reasoning (LAVR).
CN · 翻译
接着讨论多模态幻觉与扩展技术，包括多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和 LLM 辅助视觉推理（LAVR）。
EN · 原文
To conclude the paper, we discuss existing challenges and point out promising research directions.
CN · 翻译
最后，我们讨论现有挑战，并指出有前景的研究方向。
EN · 原文
In light of the fact that the era of MLLM has only just begun, we will keep updating this survey and hope it can inspire more research.
CN · 翻译
鉴于 MLLM 时代才刚刚开始，我们将持续更新这篇综述，希望它能启发更多研究。
EN · 原文
An associated GitHub link collecting the latest papers is available at https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models.
CN · 翻译
收录最新论文的配套 GitHub 链接：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models。

关键词 Keywords：Multimodal Large Language Model 多模态大语言模型 ｜ GPT-4V ｜ Multimodal Hallucination 多模态幻觉 ｜ M-ICL / M-CoT / LAVR

四、引言精选（为什么这个问题重要）

① LLM 会「读」不会「看」，LVM 会「看」不会「想」——互补催生 MLLM

EN · 原文
Recent years have seen the remarkable progress of LLMs [1, 2, 3, 4, 5]. By scaling up data size and model size, these LLMs raise extraordinary emergent abilities, typically including instruction following [5, 6], In-Context Learning (ICL) [7], and Chain of Thought (CoT) [8]. Although LLMs have demonstrated surprising zero/few-shot reasoning performance on most Natural Language Processing (NLP) tasks, they are inherently "blind" to vision since they can only understand discrete text. Concurrently, Large Vision Models (LVMs) can see clearly [9, 10, 11, 12], but commonly lag in reasoning.
CN · 翻译
近年来 LLM 进步惊人：通过放大数据规模与模型规模，涌现出指令跟随、上下文学习（ICL）、思维链（CoT）等非凡能力。但 LLM 在大多数 NLP 任务上虽表现惊艳，本质上是「盲」的——它们只能理解离散文本。与此同时，大型视觉模型（LVM）「看得清」，却普遍在推理上落后。
EN · 原文
In light of this complementarity, LLM and LVM run towards each other, leading to the new field of Multimodal Large Language Model (MLLM). Formally, it refers to the LLM-based model with the ability to receive, reason, and output with multimodal information. Prior to MLLM, there have been a lot of works devoted to multimodality, which can be divided into discriminative [13, 14, 15] and generative [16, 17, 18] paradigms. CLIP [13], as a representative of the former, projects visual and textual information into a unified representation space, building a bridge for downstream multimodal tasks. In contrast, OFA [16] is a representative of the latter, which unifies multimodal tasks in a sequence-to-sequence manner. MLLM can be classified as the latter according to the sequence operation, but it manifests two representative traits compared with the traditional counterparts: (1) MLLM is based on LLM with billion-scale parameters, which is not available in previous models. (2) MLLM uses new training paradigms to unleash its full potential, such as using multimodal instruction tuning [19, 20] to encourage the model to follow new instructions. Armed with the two traits, MLLM exhibits new capabilities, such as writing website code based on images [21], understanding the deep meaning of a meme [22], and OCR-free math reasoning [23].
CN · 翻译
正是这种互补性，让 LLM 与 LVM 双向奔赴，催生了多模态大语言模型（MLLM）这一新领域：以 LLM 为基础、能够接收/推理/输出多模态信息的模型。在 MLLM 之前，多模态工作分为判别式与生成式两大范式：判别式代表 CLIP 把视觉与文本信息投影到统一表征空间；生成式代表 OFA 用序列到序列方式统一多模态任务。MLLM 按序列操作属于后者，但有两大标志性特质：(1) 基于十亿级参数的 LLM，这是此前模型不具备的；(2) 采用新训练范式释放潜力，如多模态指令微调。正是这两点，让 MLLM 展现出「看图写网站代码」「读懂梗图的深意」「免 OCR 数学推理」等新能力。

② GPT-4 发布后的研究狂潮：四个扩展方向

EN · 原文
Ever since the release of GPT-4 [3], there has been a research frenzy over MLLMs because of the amazing multimodal examples it shows. Rapid development is fueled by efforts from both academia and industry. Preliminary research on MLLMs focuses on text content generation grounded in text prompts and image [20, 24]/video [25, 26]/audio [27]. Subsequent works have expanded the capabilities or the usage scenarios, including: (1) Better granularity support. Finer control on user prompts is developed to support specific regions through boxes [28] or a certain object through a click [29]. (2) Enhanced support on input and output modalities [30, 31], such as image, video, audio, and point cloud. Besides input, projects like NExT-GPT [32] further support output in different modalities. (3) Improved language support. Efforts have been made to extend the success of MLLMs to other languages (e.g. Chinese) with relatively limited training corpus [33, 34]. (4) Extension to more realms and usage scenarios. Some studies transfer the strong capabilities of MLLMs to other domains such as medical image understanding [35, 36, 37] and document parsing [38, 39, 40]. Moreover, multimodal agents are developed to assist in real-world interaction, e.g. embodied agents [41, 42] and GUI agents [43, 44, 45]. An MLLM timeline is illustrated in Fig. 1.
CN · 翻译
自 GPT-4 发布以来，MLLM 研究进入狂热期，学术界与工业界共同助推其飞速发展。初步研究聚焦于「文本提示 + 图像/视频/音频」的内容生成；后续工作扩展了能力与使用场景：(1) 更细粒度支持——用框选区域、点击物体实现精细控制；(2) 更强的输入输出模态——图像、视频、音频、点云，NExT-GPT 等项目还支持多模态输出；(3) 更好的语言支持——把 MLLM 的成功迁移到中文等训练语料相对有限的语种；(4) 扩展到更多领域——医学图像理解、文档解析，并发展出具身智能体与 GUI 智能体。MLLM 时间线见图 1。

③ 为什么需要这篇综述：领域第一张「地图」

EN · 原文
In view of such rapid progress and the promising results of this field, we write this survey to provide researchers with a grasp of the basic idea, main method, and current progress of MLLMs. Note that we mainly focus on visual and language modalities, but also include works involving other modalities like video and audio. Specifically, we cover the most important aspects of MLLMs with corresponding summaries and open a GitHub page that would be updated in real time. To the best of our knowledge, this is the first survey on MLLM.
CN · 翻译
鉴于领域进展之快、成果之亮眼，作者写下这篇综述，让研究者快速把握 MLLM 的基本思想、主要方法与当前进展。综述主要聚焦视觉与语言模态，也涵盖视频、音频等其他模态；覆盖最重要的方面并配套实时更新的 GitHub 页面。据作者所知，这是 MLLM 领域的第一篇综述。
💡 这是全文最有味道的一句：“Although LLMs have demonstrated surprising zero/few-shot reasoning performance on most Natural Language Processing (NLP) tasks, they are inherently 'blind' to vision since they can only understand discrete text.”——LLM 再强，不接上「眼睛」就看不了图；LVM 看得再清，没有「大脑」就想不明白。MLLM 的全部故事，都从「互补」这两个字开始。

五、论文贡献（3 个要点）

EN · 原文
1. First of all, we present the basic formulation of MLLM and delineate its related concepts, including architecture, training strategy and data, as well as evaluation.
CN · 翻译
1. 系统梳理 MLLM 的「基础配方」。给出 MLLM 的基本形式化，厘清架构、训练策略与数据、评测三大核心概念——相当于把散落各处的知识整理成一份「入门教材」。
EN · 原文
2. Then, we introduce research topics about how MLLMs can be extended to support more granularity, modalities, languages, and scenarios. We continue with multimodal hallucination and extended techniques, including Multimodal ICL (M-ICL), Multimodal CoT (M-CoT), and LLM-Aided Visual Reasoning (LAVR).
CN · 翻译
2. 全景覆盖扩展方向与关键技术。梳理 MLLM 在更细粒度、更多模态、更多语言、更多场景上的扩展，并深入讨论多模态幻觉与 M-ICL、M-CoT、LAVR 三大技术。
EN · 原文
3. To the best of our knowledge, this is the first survey on MLLM. In light of the fact that the era of MLLM has only just begun, we will keep updating this survey and hope it can inspire more research. An associated GitHub link collecting the latest papers is available at https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models.
CN · 翻译
3. 领域第一篇综述 + 持续更新的开源论文库。据作者所知这是 MLLM 领域的第一篇综述；并承诺持续更新，配套收录最新论文的 GitHub 库（Awesome-Multimodal-Large-Language-Models），解决综述「出版即过时」的痛点。

六、结论中英对照

EN · 原文
In this paper, we perform a survey of the existing MLLM literature and offer a broad view of its main directions, including the basic recipe and related extensions. Moreover, we underscore the current research gaps that need to be filled and point out some promising research directions. We hope this survey can offer readers a clear picture of the current progress of MLLM and inspire more works.
CN · 翻译
本文对现有 MLLM 文献进行了综述，提供了主要方向的宏观视图，包括基础配方与相关扩展；并强调当前亟待填补的研究空白，指出有前景的研究方向。希望这篇综述能让读者看清 MLLM 的当前进展，并启发更多工作。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 背景：GPT-4V 一出，多模态大模型研究爆炸式增长，但领域太新、论文太散——新手根本不知道从哪读起。这篇综述就是来「画地图」的。
  2. 结构：先讲「配方」（架构怎么搭、训练数据和策略怎么来、效果怎么评），再讲「扩展」（更细的粒度、更多的模态、更多的语言、更多的场景），再讲「顽疾」（多模态幻觉）和「武器」（M-ICL、M-CoT、LAVR 三大技术）。
  3. 亮点：自称「MLLM 第一篇综述」，而且不写完就完事——配套 GitHub 论文库实时更新，把综述的「保质期」问题用开源方式解决，后来成为该领域人人引用的经典入口。
  4. 最值钱的观点：LLM 会读不会看、LVM 会看不会想，融合是必然方向；涌现能力（看图写故事、免 OCR 数学推理）暗示通往 AGI 的路径，但「一本正经胡说」的幻觉是落地最大拦路虎。
  5. 工程意义：多模态能力正被搬运到医学影像、文档解析、具身智能体、GUI 智能体等真实场景；对想做 AI 应用的人来说，这份综述就是「选方向」的清单。
🎯 对保研的启示：综述是学术界的「基础设施」——能写出一篇被领域广泛引用的综述，本身就是顶级贡献。这篇论文示范了：时机（领域刚爆发）+ 结构（配方→扩展→问题→技术）+ 开放（持续更新）。复试被问「你怎么了解一个新领域」，答「读综述 + 追踪其开源论文库」就是标准答案。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——MLLM 是什么？综述讲了哪几块？结论是什么？
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「配方 → 扩展 → 幻觉 → 技术」的组织逻辑，以及「LLM 盲、LVM 笨、互补融合」这个核心叙事。
  3. 第三遍（30 分钟）：挑正文 §2–§4（架构、训练、评测）读文字部分，跳过公式和编号；再扫一眼 §7 的 M-ICL 与 M-CoT；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出每个术语（MLLM、GPT-4V、hallucination、M-ICL、M-CoT、LAVR）和那个 GitHub 链接。