晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

Token 通信：面向多模态大语言模型的令牌传输方案

准大一 · 计算机科学与技术 × 通信 × AI —— 多模态大模型 Token 通信精读材料
原文：arXiv:2608.07279 2026年8月7日发布 arXiv 预印本（eess.SP） Token 通信 × MLLM × 神经编解码器 附英文摘要朗读音频

一、论文档案

英文标题Token Communication for Multimodal Large Language Model
中文标题Token 通信：面向多模态大语言模型的令牌传输方案
作者应靖凯, 秦志金, 沈元, 哈立德·B·莱塔耶夫（机构未在素材中标注）
发布时间2026年8月7日（v1）｜分类：eess.SP（信号处理）
原文链接arxiv.org/abs/2608.07279
一句话概括把神经编解码器「塞进」视觉分词器，边压缩边给多模态大模型喂「原生的视觉 token」——在相同传输数据量下，任务性能优于传统「重建图像再喂模型」的方案。
💡 为什么选这篇给你：① 它站在两个热门领域的交叉点——大模型（token 是它的基本处理单元）与通信（token 成为新的传输单元）；② 思路极清晰：压缩不该「为了人眼」，而该「为了模型」；③ 故事完整：问题→方案→两阶段训练→多基准仿真验证，方法文字部分不需要高深数学就能读懂。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
token令牌（词元）模型处理信息的最小基本单元，文本、图像都被切成 token 序列。
MLLM (Multimodal Large Language Model)多模态大语言模型能同时处理文字和图像（乃至音频）的大模型，如 GPT-4o、Gemini。
vision tokenizer视觉分词器把图像切成视觉 token 的模块，是「图像→模型」的入口。
neural codec神经编解码器用神经网络做的压缩/解压器，端到端学习「怎么压得小且保得住信息」。
entropy model熵模型估计压缩码流真实比特数的概率模型，用来精确控制传输的比特数。
reconstruction prior重建先验解码器重建出的图像，作为后续视觉 token 的「参考底稿」。
adapter适配器把压缩特征转换成视觉 token、并注入分词器中间层的小网络。
visual-language semantic alignment视觉-语言语义对齐让「模型看到的图像 token」和「对应文字描述」在语义上保持一致。
distillation loss蒸馏损失让新模块模仿已有分支的中间特征，用它「预热」适配器。
SigLIP lossSigLIP 损失一种图文对比对齐损失，让图像与文本的语义向量靠近。
QP (quantization parameter)量化参数控制压缩强度的旋钮——QP 越大压得越狠、传得越少。
FiLM (feature-wise linear modulation)特征级线性调制用条件信息对特征做「缩放+平移」，让一个适配器适配多种 QP。
coding for machines面向机器的编码不为给人看、而为给机器任务用的压缩编码范式。
bitstream比特流压缩后传输的二进制码流。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
With the broad success of the Transformer architecture, token is becoming a new basic information processing unit.
CN · 翻译
随着 Transformer 架构的广泛成功，token（令牌）正成为一种新的基本信息处理单元。
EN · 原文
This trend is especially evident in multimodal large language models (MLLMs), where both visual and textual information are represented and processed as tokens.
CN · 翻译
这一趋势在多模态大语言模型（MLLM）中尤为明显——视觉与文本信息都以 token 形式表示和处理。
EN · 原文
With the rapid deployment of MLLMs, the efficient transmission of tokens has become increasingly important.
CN · 翻译
随着 MLLM 的快速部署，token 的高效传输变得越来越重要。
EN · 原文
This paper investigates how to reduce the amount of transmitted data during interactions with MLLMs while preserving their multimodal understanding performance.
CN · 翻译
本文研究如何在保持 MLLM 多模态理解性能的同时，减少与 MLLM 交互时的传输数据量。
EN · 原文
To address this problem, we propose a token communication framework tailored to MLLMs.
CN · 翻译
为解决该问题，我们提出一个专为 MLLM 定制的 token 通信框架。
EN · 原文
In the proposed framework, a neural codec is integrated into the vision tokenizer to control the number of transmitted bits.
CN · 翻译
在该框架中，神经编解码器被集成进视觉分词器，用于控制传输的比特数。
EN · 原文
At the receiver, the decoded latents are processed through two paths.
CN · 翻译
在接收端，解码出的潜在特征（latents）沿两条路径处理。
EN · 原文
The decoder reconstructs image as a reconstruction prior, while the adapter converts latents into visual tokens and injects them into an intermediate layer of the vision tokenizer.
CN · 翻译
解码器重建图像作为重建先验，而适配器把潜在特征转换为视觉 token，并将其注入视觉分词器的中间层。
EN · 原文
To make the injected tokens suitable for MLLMs, we further design a two-stage visual-language semantic alignment training scheme.
CN · 翻译
为使注入的 token 适用于 MLLM，我们进一步设计了两阶段的视觉-语言语义对齐训练方案。
EN · 原文
The adapter is first warmed up by a distillation loss and then aligned with textual semantics through an alignment loss.
CN · 翻译
适配器先用蒸馏损失预热，再通过对齐损失与文本语义对齐。
EN · 原文
An adaptive adapter is also introduced through feature-wise linear modulation, allowing one adapter to support multiple codec rates.
CN · 翻译
还通过特征级线性调制（FiLM）引入自适应适配器，使一个适配器可支持多种编解码速率。
EN · 原文
Extensive simulations on various MLLM benchmarks show that, under the same amount of transmitted data, the proposed scheme achieves better task performance than other image processing schemes for MLLMs.
CN · 翻译
在多种 MLLM 基准上的大量仿真表明：在相同传输数据量下，所提方案比其它面向 MLLM 的图像处理方案取得更好的任务性能。

关键词 Keywords：Token Communication Token 通信 ｜ Multimodal Large Language Model 多模态大语言模型 ｜ Neural Codec 神经编解码器 ｜ Visual-Language Alignment 视觉-语言对齐

四、引言精选（为什么这个问题重要）

① 从 ChatGPT 到万亿级 token：token 成为新的信息单元

EN · 原文
Since the release of ChatGPT in late 2022, large language models (LLMs) have achieved remarkable progress [achiam2023gpt, guo2025deepseek]. These models have demonstrated strong capabilities in logical reasoning and language understanding, achieving strong performance in tasks such as translation, writing, and coding. The success of LLMs has further been extended to the multimodal field. Multimodal large language models (MLLMs) enable models to process visual information and perform multimodal understanding tasks [team2023gemini, bai2025qwen3]. Both LLMs and MLLMs are built upon the Transformer [vaswani2017attention] architecture and therefore use tokens as their basic information processing units. With the growing applications of these large artificial intelligence (AI) models, the daily token consumption has reached the trillion scale [aubakirova2026state]. This trend further highlights the increasing importance of tokens.
CN · 翻译
自 2022 年底 ChatGPT 发布以来，大语言模型（LLM）取得了显著进展，在逻辑推理与语言理解上展现了强大能力，在翻译、写作、编码等任务上表现优异。LLM 的成功进一步延伸到多模态领域：多模态大语言模型（MLLM）让模型能够处理视觉信息并完成多模态理解任务。LLM 与 MLLM 都建立在 Transformer 架构之上，因此都以 token 作为基本信息处理单元。随着这些大型 AI 模型应用日益广泛，每日 token 消耗量已达万亿级，进一步凸显了 token 的重要性。

② 两条老路都不对：面向人眼的重建 vs 面向机器的任务编码

EN · 原文
Image compression is a major approach for reducing the number of transmitted bits. Existing image compression methods can mainly be divided into human vision-oriented reconstruction coding and machine vision-oriented task coding. Directly applying these two types of methods to MLLM-oriented compression leads to the schemes shown in Fig. 1(a) and Fig. 1(b). For the human vision-oriented scheme, it follows the existing paradigm for interacting with MLLMs. Images captured by edge devices are encoded into compact bitstreams and transmitted to the cloud server. The decoder at the server reconstructs images for human perception [jia2025towards, he2022elic]. The reconstructed images are then fed into the MLLM. This scheme optimizes the representation for human vision. However, a human-perception-oriented representation is not necessarily optimal for MLLMs [fu2026cache, xiao2025transmission]. The machine-vision-oriented scheme, commonly called coding for machines [yang2024video], can achieve more compact compression for specific machine tasks, such as classification, object detection, and semantic segmentation. However, this scheme usually requires task-specific end-to-end training, which is difficult to satisfy when MLLMs are used for general multimodal understanding tasks.
CN · 翻译
图像压缩是减少传输比特数的主要途径。现有图像压缩方法主要分为两类：面向人眼的重建编码与面向机器的任务编码。直接把这两类方法用到 MLLM 压缩上，就得到图 1(a) 与 1(b) 的方案。面向人眼的方案沿用与 MLLM 交互的现有范式：边缘设备把图像编码成紧凑比特流传到云端，服务器端解码器重建出供人感知的图像，再喂给 MLLM。这种方案为「人眼」优化表示，但对 MLLM 来说，面向人感知的表示未必是最优的。面向机器的方案（即 coding for machines）能针对特定机器任务（分类、目标检测、语义分割）实现更紧凑的压缩，但通常需要任务特定的端到端训练，难以满足 MLLM 通用多模态理解的需求。

③ 第三条路：把压缩编码器融进视觉分词器，传「中间 token」

EN · 原文
Therefore, we propose a coding scheme tailored for MLLMs, as shown in Fig. 1(c). Inspired by existing studies on token communication, our scheme fully exploits powerful vision tokenizers to provide more native token representations for MLLMs. By incorporating the encoder for compression into the vision tokenizer, our approach transmits intermediate visual tokens without compromising compression efficiency.
CN · 翻译
因此我们提出面向 MLLM 定制的编码方案，如图 1(c) 所示。受已有 token 通信研究启发，我们的方案充分利用强大的视觉分词器，为 MLLM 提供更「原生」的 token 表示。通过把压缩编码器融入视觉分词器，方法在不牺牲压缩效率的同时传输中间视觉 token。
💡 这是全文最有味道的一句：“a human-perception-oriented representation is not necessarily optimal for MLLMs.”——压缩标准不该由「人眼」定义，而该由「消费 token 的模型」定义。把这句话想透，就抓住了整篇论文的灵魂。

五、论文贡献（3 个要点）

EN · 原文
1. A token communication framework for MLLMs. A token communication framework is developed to provide informative visual tokens for MLLMs. In this framework, the neural codec is integrated into the vision tokenizer to control the number of bits required for token transmission. At the receiver, a decoder provides the reconstruction prior, while an adapter converts compression-oriented features into visual tokens and injects them into the vision tokenizer.
CN · 翻译
1. 面向 MLLM 的 token 通信框架。开发为 MLLM 提供信息丰富视觉 token 的通信框架：神经编解码器集成进视觉分词器以控制 token 传输所需比特数；接收端解码器提供重建先验，适配器把面向压缩的特征转成视觉 token 并注入分词器。
EN · 原文
2. A visual-language semantic alignment training scheme. To improve the effectiveness of visual token injection by adapter, a visual-language semantic alignment training scheme is proposed. Based on effective extraction of visual and textual semantic features, the adapter is first warmed up with a distillation loss and then semantically aligned with the SigLIP loss.
CN · 翻译
2. 视觉-语言语义对齐训练方案。为提升适配器注入视觉 token 的效果，提出语义对齐训练方案：在有效提取视觉与文本语义特征的基础上，适配器先用蒸馏损失预热，再用 SigLIP 损失做语义对齐。
EN · 原文
3. A QP-adaptive adapter. A QP-adaptive adapter is introduced so that neural codecs with different QPs can share the same adapter.
CN · 翻译
3. QP 自适应适配器。引入 QP 自适应适配器，使不同量化参数（QP）的神经编解码器可共享同一个适配器。

六、结论中英对照

EN · 原文
In this paper, we investigate MLLM-oriented token communication to reduce the transmitted data required for MLLM interaction. By integrating a neural codec into the vision tokenizer, the number of transmitted bits is reduced. At the receiver, instead of only reconstructing a compressed image, the proposed framework uses decoded latents to construct visual tokens and merge them with reconstruction priors. To better fuse visual tokens with the reconstruction prior and provide suitable visual inputs for the MLLM, a two-stage visual-language alignment scheme is proposed. The distillation stage stabilizes injected tokens by matching intermediate features of the original-image branch. The semantic alignment stage aligns final visual semantics with textual semantics through a SigLIP-based loss. To adapt to various codec rates, a QP-adaptive adapter based on FiLM is also designed. Simulation results on multiple MLLM benchmarks show that the proposed method outperforms reconstruction-based coding and other baselines under the same amount of transmitted data.
CN · 翻译
本文研究面向 MLLM 的 token 通信，以降低 MLLM 交互所需的传输数据量。通过把神经编解码器集成进视觉分词器，传输比特数得到降低。接收端不再只重建压缩图像，而是用解码出的潜在特征构造视觉 token 并与重建先验融合。为更好地融合视觉 token 与重建先验、为 MLLM 提供合适的视觉输入，提出两阶段视觉-语言对齐方案：蒸馏阶段通过匹配原始图像分支的中间特征来稳定注入的 token；语义对齐阶段用基于 SigLIP 的损失把最终视觉语义与文本语义对齐。为适应不同编码速率，还设计了基于 FiLM 的 QP 自适应适配器。多个 MLLM 基准上的仿真结果显示：在相同传输数据量下，所提方法优于基于重建的编码及其它基线。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：手机拍张图传给云端的 GPT-4o，传统做法是「压缩→传→重建→喂给模型」。但压缩标准是给人眼设计的——重建得再清晰，模型真正「读」的是 token，人眼看得舒服不等于模型理解得好。
  2. 做法：把压缩器（神经编解码器）直接嵌进模型的视觉分词器，传输「中间产物」而不是「成品图片」；接收端一条路重建图像当「参考底稿」（重建先验），另一条路用适配器把压缩特征直接转成视觉 token，注入分词器中间层。
  3. 关键细节：注入的 token 必须和文本语义对齐，否则会「污染」模型——于是设计了两阶段训练：先用蒸馏损失让适配器模仿原始分支的中间特征（预热），再用 SigLIP 损失对齐文本语义。
  4. 结果：同样传 1 个字节，这套方案让模型干得更好；而且用 FiLM 做一个「QP 自适应适配器」，一个适配器就能兼容多种压缩率。
  5. 最值钱的观点：压缩标准该由「消费 token 的模型」定义，而不是由人眼定义——这是「面向机器的编码」思想在大模型时代的自然延伸，把通信和 AI 两个领域真正打通了。
🎯 对保研的启示：这篇论文示范了「跨界选题」——在成熟领域（图像压缩）里发现新需求（大模型消费 token），用已有积木（FiLM、SigLIP、熵编码）搭出新系统。复试时讲「我发现了什么错位、如何用已有工具解决」，比背模型名词更有说服力。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——问题是什么？方法是什么？结果是什么？
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「为什么压缩标准该为模型设计，而不是为人眼设计」以及「两阶段对齐各解决什么问题」。
  3. 第三遍（30 分钟）：读方法文字部分（编解码器集成、两阶段对齐训练、QP 自适应适配器），跳过所有公式和编号，只看文字描述；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出每个数字（trillion scale 万亿级、two-stage 两阶段）和术语（token communication、neural codec、adapter、SigLIP、QP、FiLM）。