晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

OmniRIS：文本 + 参考图一起指挥图像分割

准大一 · 计算机科学与技术 × 计算机视觉 × 多模态 —— 全模态指代图像分割精读材料
原文：arXiv:2512.06862 2025年12月7日发布 arXiv 预印本（cs.CV） 全模态指代分割 × OmniRef 数据集 × OmniSegNet 附英文摘要朗读音频

一、论文档案

英文标题Omni-Referring Image Segmentation
中文标题全模态指代图像分割（OmniRIS）：文本指令 + 参考图（掩码/框/涂鸦）联合指代的高度泛化图像分割
作者郑前程, 沈云航, 罗根, 宋百洋, 孙星, 孙晓帅, 周依依, 纪荣嵘（机构未在素材中标注）
发布时间2025年12月7日（v1）｜分类：cs.CV（计算机视觉）
原文链接arxiv.org/abs/2512.06862　·　全文 HTML 版
一句话概括把「文字指代」和「看图找相似」合二为一：文本 + 带掩码/框/涂鸦的参考图任意组合，一套模型通吃多种分割设定。
💡 为什么选这篇给你：① 指代分割（Referring Segmentation）是「多模态交互式分割」的基础能力，图编辑、自动驾驶、智能标注都会用到；② 论文把一个朴素问题「文字和参考图能不能一起用？」做成了完整的工作——新任务 + 大规模数据集（OmniRef）+ 强基线（OmniSegNet）；③ 数字扎实：186,939 个全模态提示、30,956 张图像，规模超过 RefCOCO 系列经典基准。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
referring image segmentation (RIS)指代图像分割根据一句文字描述（如「桌上的两个杯子」），把图中对应的物体分割出来。
visual RIS视觉指代分割给一张参考图，分割出图中与它相似的同类物体（靠「看图找相似」）。
omni-prompt全模态提示文本指令、参考图及其空间提示（掩码、框、涂鸦）的任意组合，一起指代目标。
omni-modal全模态（输入）文本与视觉两种模态同时可用、可自由切换的输入方式。
granular attribute referring细粒度属性指代文字的长处：精确描述属性与空间关系，如「桌上有两个杯子」。
uncommon object grounding罕见物体定位视觉参考的长处：定位难以用语言描述的罕见物体。
one v.s. many / many v.s. many一对多 / 多对多分割设定：一个提示对应多个目标，或多个提示对应多个目标（多对多在 RIS 任务中首次引入）。
no-target无目标图中没有所指物体时，模型应输出「无目标」而不是乱切。
omni-prompt encoder全模态提示编码器OmniSegNet 的核心模块：把文本与视觉提示统一编码进同一多模态空间。
OmniRefOmniRef 数据集本文构建的大规模数据集：186,939 个全模态提示、30,956 张图像，规模超过 RefCOCO/+/g 与 gRefCOCO。
OmniSegNetOmniSegNet 模型本文提出的强基线：能同时处理单模态与全模态提示的通用分割模型。
referring conflict指代冲突多对多设定下，文本提示与视觉提示指向不同物体时产生的歧义。
grounding指代落地（定位）把提示对应到图像中具体区域/像素的过程。
GRES (Generalized Referring Expression Segmentation)广义指代表达分割把指代分割扩展到多目标或无目标设定，OmniRIS 在其基础上进一步引入多对多。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
In this paper, we propose a novel task termed Omni-Referring Image Segmentation (OmniRIS) towards highly generalized image segmentation.
CN · 翻译
本文提出一个新任务——全模态指代图像分割（OmniRIS），目标是高度泛化的图像分割。
EN · 原文
Compared with existing unimodally conditioned segmentation tasks, such as RIS and visual RIS, OmniRIS supports the input of text instructions and reference images with masks, boxes or scribbles as omni-prompts.
CN · 翻译
与 RIS、视觉 RIS 等单模态条件的分割任务相比，OmniRIS 支持把文本指令与带掩码、框或涂鸦的参考图作为全模态提示输入。
EN · 原文
This property makes it can well exploit the intrinsic merits of both text and visual modalities, i.e., granular attribute referring and uncommon object grounding, respectively.
CN · 翻译
这一特性使其能充分发挥文本与视觉两种模态的内在优势：细粒度属性指代与罕见物体定位。
EN · 原文
Besides, OmniRIS can also handle various segmentation settings, such as one v.s. many and many v.s. many, further facilitating its practical use.
CN · 翻译
此外，OmniRIS 还能处理多种分割设定，如一对多与多对多，进一步方便实际使用。
EN · 原文
To promote the research of OmniRIS, we also rigorously design and construct a large dataset termed OmniRef, which consists of 186,939 omni-prompts for 30,956 images, and establish a comprehensive evaluation system.
CN · 翻译
为推进 OmniRIS 研究，我们严谨设计并构建了大规模数据集 OmniRef——包含 186,939 个全模态提示、覆盖 30,956 张图像，并建立了全面的评测体系。
EN · 原文
Moreover, a strong and general baseline termed OmniSegNet is also proposed to tackle the key challenges of OmniRIS, such as omni-prompt encoding.
CN · 翻译
此外，我们还提出一个强而通用的基线模型 OmniSegNet，用于应对 OmniRIS 的关键挑战，例如全模态提示编码。
EN · 原文
The extensive experiments not only validate the capability of OmniSegNet in following omni-modal instructions, but also show the superiority of OmniRIS for highly generalized image segmentation.
CN · 翻译
大量实验不仅验证了 OmniSegNet 遵循全模态指令的能力，也展示了 OmniRIS 在高度泛化图像分割上的优越性。

关键词 Keywords：Referring Image Segmentation 指代图像分割 ｜ Omni-Modal 全模态 ｜ OmniRef 数据集 ｜ OmniSegNet

四、引言精选（为什么这个问题重要）

① 从固定类别到开放指代：RIS 与 Visual RIS 各有所长

EN · 原文
Recent years have witnessed the great advancement of image segmentation moving from the traditional fixed-category masking to the open-ended ones conditioned on text or visual reference [15, 45, 46, 22, 16]. For instance, the popular Referring Image Segmentation (RIS) [12], also known as Referring Expression Segmentation (RES) [33], can segment the referents of arbitrary types in an image according to the given text description, exhibiting much better flexibility than traditional segmentation tasks [39, 9]. Recent RIS tasks, e.g., Generalized Referring Expression Segmentation (GRES) [26], further extend the segmentation patterns to multi-target or no-target grounding.
CN · 翻译
近年来，图像分割从传统的固定类别掩码大步走向以文本或视觉参考为条件的开放式分割。例如流行的指代图像分割（RIS），也叫指代表达分割（RES），能根据给定的文本描述分割图中任意类型的指代对象，灵活性远超传统分割任务；近期的 RIS 任务（如广义指代表达分割 GRES）进一步把分割模式扩展到多目标或无目标定位。

② 单模态的短板：文字说不清的，图片看得懂；图分不清的，文字说得明

EN · 原文
Despite their great successes, existing referring segmentation tasks still have their own shortcomings due to the inherent properties of the unimodal prompts they use. In particular, the text expressions used for RIS can help the model locate common objects with specific attributes or spatial relationships in a rich image. For instance, finding “two cups on the table” as shown in Fig. 1. However, for the referents that are difficult to describe, RIS models often suffer from low precision [33, 55]. In contrast, Visual RIS can well mitigate this issue by referring to a reference image of the target object, also shown in Fig. 1. But in order to maintain a high recall rate, existing visual RIS methods [45, 46] are hard to identify objects of the same category but with different details.
CN · 翻译
尽管成果斐然，现有指代分割任务因使用单模态提示而各有短板：RIS 的文字表达擅长在复杂图像中定位「带特定属性或空间关系」的常见物体（如找「桌上的两个杯子」），但遇到难以描述的指代对象时精度往往很低；视觉 RIS 靠参考图能很好缓解这一点，但为了维持高召回率，现有方法很难区分同类别、不同细节的物体。

③ 本文的回答：能不能两个都用上？

EN · 原文
To approach this target, we propose a novel task termed Omni-Referring Image Segmentation (OmniRIS) in this paper, of which illustration is given in Fig. 1. As discussed above, OmniRIS can support the inputs of text instructions or reference images, or both, to fully exploit the advantages of the two modalities, i.e., granular attribute referring and uncommon object grounding, respectively. To correctly identify the referred visual semantics, OmniRIS also requires the model to be aware of masks, boxes or scribbles as additional prompts, which can also facilitate its practical use in terms of human-computer interaction. For a broader scope of application, OmniRIS also supports multiple forms of referring segmentation like GRES [26, 51], i.e., the referring segmentation of one v.s. many or no-target, while the settings of many v.s. many and many v.s. one are first introduced to the RIS task. Moreover, OmniRIS also allows the switch between uni- and omni-modal prompts for better generalization. Overall, these properties help OmniRIS to achieve highly generalized image segmentation.
CN · 翻译
为接近这个目标，本文提出新任务 OmniRIS：支持文本指令或参考图、或两者同时输入，充分发挥两种模态的优势（细粒度属性指代与罕见物体定位）；为正确识别所指视觉语义，还要求模型感知掩码、框、涂鸦等附加提示，利于人机交互；为扩大应用范围，支持像 GRES 那样的一对多、无目标指代，而多对多、多对一设定在 RIS 任务中属首次引入；还允许在单模态与全模态提示间切换以获得更好的泛化。

④ 挑战与数据：多模态联合建模 + 大规模数据集 OmniRef

EN · 原文
Despite these apparent merits, OmniRIS also has its intrinsic challenges. In addition to multimodal reasoning, a shared problem with previous RIS tasks [22, 16, 62], OmniRIS first encounters the issue of how to jointly model the prompts of text and visual modalities. Specifically, a decent OmniRIS model should be capable of learning text expressions and the reference images with spatial prompts at the same time. During inference, the multimodal embedding space it constructs should also allow for the grounding with unimodal or multimodal prompts, posing a key challenge for the multimodal designs of OmniRIS.
CN · 翻译
OmniRIS 也有内在挑战：除多模态推理这一 RIS 任务的共有问题外，首先遇到的是如何联合建模文本与视觉模态的提示——好的 OmniRIS 模型应能同时学习文字表达与带空间提示的参考图；推理时，它构建的多模态嵌入空间还应支持单模态或全模态提示的定位，这对 OmniRIS 的多模态设计构成关键挑战。
EN · 原文
To facilitate the research of OmniRIS, we first propose a large dataset in this paper, termed OmniRef. The OmniRef dataset is constructed in a rigorous way, which has strict criteria for the selection of images and the annotation of omni-prompts, as shown in Fig. 5. Based on OmniRef, we also propose a strong baseline model called OmniSegNet, which is equipped with a novel omni-prompt encoder to handle the issue of omni-prompt modeling and a training regime to tackle the complex settings of OmniRIS.
CN · 翻译
为推进研究，本文先构建大规模数据集 OmniRef，其构建过程严谨：图像选择与全模态提示标注都有严格标准；基于 OmniRef，又提出强基线 OmniSegNet，配备新颖的全模态提示编码器处理提示建模问题，并设计训练机制应对 OmniRIS 的复杂设定。
💡 这是全文最有味道的一句：“Is it plausible to combine the merits of both text and visual references to form a more effective segmentation manner?”——整篇论文就是从一个「能不能？」的朴素问题出发的。好的研究方向常常不是新算法，而是一个没人认真问过的组合问题。

五、方法要点（OmniRIS 任务与 OmniSegNet 基线）

EN · 原文
1. 全模态提示输入。 OmniRIS can support the inputs of text instructions or reference images, or both, to fully exploit the advantages of the two modalities, i.e., granular attribute referring and uncommon object grounding, respectively.
CN · 翻译
1. 全模态提示输入。文本指令、参考图或两者同时输入，取长补短：文字负责细粒度属性指代，图片负责罕见物体定位。
EN · 原文
2. 空间提示与多种设定。 To correctly identify the referred visual semantics, OmniRIS also requires the model to be aware of masks, boxes or scribbles as additional prompts. OmniRIS also supports multiple forms of referring segmentation like GRES [26, 51], i.e., the referring segmentation of one v.s. many or no-target, while the settings of many v.s. many and many v.s. one are first introduced to the RIS task.
CN · 翻译
2. 空间提示与多种设定。模型还要感知掩码、框、涂鸦等附加提示；支持一对多、无目标等设定，并首次把多对多、多对一引入 RIS 任务。
EN · 原文
3. 核心挑战：多模态提示联合建模。 a decent OmniRIS model should be capable of learning text expressions and the reference images with spatial prompts at the same time. During inference, the multimodal embedding space it constructs should also allow for the grounding with unimodal or multimodal prompts.
CN · 翻译
3. 核心挑战：多模态提示联合建模。模型要同时学会文字表达与带空间提示的参考图；推理时构造的多模态嵌入空间还要支持单模态与全模态提示的定位。
EN · 原文
4. 大规模数据集 OmniRef。 we also rigorously design and construct a large dataset termed OmniRef, which consists of 186,939 omni-prompts for 30,956 images, and establish a comprehensive evaluation system. Among them, 78,585 prompts for 6,549 images are reserved for three test splits, i.e., the text-only, visual-only and omni ones.
CN · 翻译
4. 大规模数据集 OmniRef。186,939 个全模态提示、30,956 张图像，并建立全面评测体系；其中 78,585 个提示、6,549 张图像留给三个测试划分：text-only（仅文本）、visual-only（仅视觉）与 omni（全模态）。
EN · 原文
5. 强基线 OmniSegNet。 a strong and general baseline termed OmniSegNet is also proposed to tackle the key challenges of OmniRIS, such as omni-prompt encoding. Based on OmniRef, we extensively examine the proposed OmniSegNet on the three test splits, and also compare it with a set of advanced uni-modal RIS methods.
CN · 翻译
5. 强基线 OmniSegNet。配备全模态提示编码器的通用基线，在三个测试划分上验证，并与一批先进的单模态 RIS 方法对比，结果显示了它在单模态与全模态提示处理上的优势。

六、结论中英对照

EN · 原文
In this paper, we propose a novel task termed OmniRIS.
CN · 翻译
本文提出一个新任务 OmniRIS。
EN · 原文
Compared with existing unimodal RIS tasks, OmniRIS aims to merge the merits of both text and visual modalities to achieve highly generalized segmentation.
CN · 翻译
与现有单模态 RIS 任务相比，OmniRIS 旨在融合文本与视觉两种模态的优势，实现高度泛化的分割。
EN · 原文
In practice, OmniRIS can support the input of text descriptions and reference images with omni-prompts, such as masks, boxes and scribbles.
CN · 翻译
实践中，OmniRIS 支持文本描述与参考图（带掩码、框、涂鸦等全模态提示）的输入。
EN · 原文
Moreover, OmniRIS includes various segmentation settings, such as many vs. many.
CN · 翻译
此外，OmniRIS 涵盖多种分割设定，例如多对多。
EN · 原文
To support the research of OmniRIS, we also build a large dataset called OmniRef, based on which a strong and general baseline model called OmniSegNet is also proposed in this paper.
CN · 翻译
为支持研究，我们构建了大规模数据集 OmniRef，并基于它提出强而通用的基线模型 OmniSegNet。
EN · 原文
Extensive experiments and analyses not only validate the advantages of OmniSegNet in handling both text and visual RIS tasks but also confirm the merits of OmniRIS towards highly generalized image segmentation.
CN · 翻译
大量实验与分析不仅验证了 OmniSegNet 处理文本与视觉 RIS 任务的优势，也确认了 OmniRIS 对高度泛化图像分割的价值。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：文字指代分割（RIS）说得清「桌上的两个杯子」，但遇到说不清的罕见物体就抓瞎；视觉指代分割（Visual RIS）能照着参考图找相似物体，却分不清「同类别、不同细节」的目标。两种单模态提示各有一半的本事。
  2. 做法：OmniRIS 让两种提示「一起上」——文本 + 参考图（可带掩码、框、涂鸦），还支持一对多、多对多、多对一、无目标等多种设定；配套 OmniSegNet 用全模态提示编码器把文本与视觉提示统一编码到同一多模态空间。
  3. 数据：没有现成数据，就造一个——OmniRef：186,939 个全模态提示、30,956 张图像，规模超过 RefCOCO/+/g 和 gRefCOCO 等经典基准；测试分 text-only / visual-only / omni 三块，把「单模态 vs 全模态」的差距量得明明白白。
  4. 结果：OmniSegNet 在三个测试划分上都表现出色，且优于一批先进的单模态 RIS 方法——说明「全模态提示」这条路不仅可行，而且泛化更好。
  5. 最值钱的观点：文本与视觉提示是互补的——文本擅长「属性级指代」（细粒度），视觉擅长「罕见物体定位」（说不清时看图）。把两者合成全模态提示，是迈向高度泛化、可交互分割的自然方向。
🎯 对保研的启示：这篇论文示范了「任务设计也是一种科研贡献」——新任务 + 新数据集 + 强基线，三者缺一不可。它告诉我们：当你发现两个已有方法「各占一半优势」时，把它们组合起来并系统性地验证，本身就可以是一篇好工作。复试时讲「我发现了什么组合机会、怎么验证它」，比背模型结构更打动人。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——新任务是什么？提示有哪几种？数据集多大？
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「为什么单模态提示各有短板」以及「全模态提示的挑战在哪里」。
  3. 第三遍（30 分钟）：读方法文字部分（全模态提示编码器、训练机制），跳过公式和编号，只看文字描述；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出每个数字（186,939、30,956）和术语（omni-prompts、OmniRef、OmniSegNet、granular attribute referring、uncommon object grounding）。