晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

ChemMLLM：面向分子理解与生成的化学多模态大语言模型

准大一 · 计算机科学与技术 × AI4Science × 化学信息学 —— 化学多模态大模型精读材料
原文：arXiv:2505.16326 2025年5月22日发布 arXiv 预印本（cs.LG） 化学多模态 × 分子理解与生成 × VQGAN 附英文摘要朗读音频

一、论文档案

英文标题ChemMLLM: Chemical Multimodal Large Language Model
中文标题ChemMLLM：化学多模态大语言模型（分子的统一理解与生成）
作者谭茜, 周东展, 夏鹏, 刘万豪, 欧阳万里, 白磊, 李宇强, 傅天凡（机构未在素材中标注）
发布时间2025年5月22日（v1）｜分类：cs.LG（机器学习）
原文链接arxiv.org/abs/2505.16326
一句话概括第一个「能看懂也能画分子」的统一化学多模态大模型——文本、SMILES、分子图像三模态一把抓；在分子图像优化任务上比最强基线 GPT-4o 高出 116.75%（性质提升 4.27 vs 1.97）。
💡 为什么选这篇给你：① AI4Science 是当前最热的方向之一，而化学是「天生多模态」的学科——文本、SMILES、分子图像三种表示并存；② 故事完整：指出三大挑战→提出统一架构→自建五个数据集→全面超越 GPT-4o；③ 关键数字震撼（116.75%），且代码开源，适合动手复现。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
MLLM (Multimodal Large Language Model)多模态大语言模型能同时处理文字、图像等多种模态的大模型。
SMILES简化分子线性输入规范用一行字符串表示分子结构（原子组成与连接方式），化学家的「分子文字」。
molecule image分子图像分子的二维结构式图，化学家最常用的交流语言。
molecule optimization分子优化生成一个与目标分子相似、但性质（如 logP）更优的新分子。
VQGAN (Vector Quantized GAN)向量量化生成对抗网络把图像离散成「码本索引」序列、再由生成器重建图像的模型。
tokenizer / de-tokenizer分词器 / 去分词器前者把图像/文本切成 token，后者把 token 还原成图像/文本。
vector quantization (VQ)向量量化把连续特征映射到最近邻的离散码本条目上，实现「图像变 token」。
codebook码本一组离散「原型向量」，量化时从中选最像的一个，用其索引当 token。
logP脂水分配系数衡量分子亲脂性的常用性质，药物设计中广泛优化的指标。
cross-modal跨模态跨越文本、SMILES、图像等多种表示形式的信息处理。
Seq2Seq (sequence-to-sequence)序列到序列模型输入一串符号、输出一串符号的经典模型，如机器翻译。
property prediction性质预测根据分子结构预测其物理化学性质（如溶解度、毒性）。
two-stage training两阶段训练先做模态对齐预训练，再做任务微调的训练策略。
discriminator判别器GAN 中负责「分辨真假」的网络，逼着生成器越画越真。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
Multimodal large language models (MLLMs) have made impressive progress in many applications in recent years.
CN · 翻译
近年来，多模态大语言模型（MLLM）在许多应用中取得了令人瞩目的进展。
EN · 原文
However, chemical MLLMs that can handle cross-modal understanding and generation remain underexplored.
CN · 翻译
然而，能够处理跨模态理解与生成的化学 MLLM 仍鲜有探索。
EN · 原文
To fill this gap, we propose ChemMLLM, a unified chemical multimodal large language model for molecule understanding and generation.
CN · 翻译
为填补这一空白，我们提出 ChemMLLM——一个面向分子理解与生成的统一化学多模态大语言模型。
EN · 原文
Also, we design five multimodal tasks across text, molecular SMILES strings, and image, and curate the datasets.
CN · 翻译
我们还设计了横跨文本、分子 SMILES 字符串与图像三种模态的五个多模态任务，并整理构建了相应数据集。
EN · 原文
We benchmark ChemMLLM against a range of general leading MLLMs and Chemical LLMs on these tasks.
CN · 翻译
我们在这些任务上把 ChemMLLM 与一系列领先通用 MLLM 及化学 LLM进行了基准对比。
EN · 原文
Experimental results show that ChemMLLM achieves superior performance across all evaluated tasks.
CN · 翻译
实验结果显示，ChemMLLM 在所有评测任务上都取得了更优性能。
EN · 原文
For example, in molecule image optimization task, ChemMLLM outperforms the best baseline (GPT-4o) by 116.75% (4.27 vs 1.97 property improvement).
CN · 翻译
例如，在分子图像优化任务中，ChemMLLM 比最强基线（GPT-4o）高出 116.75%（性质提升 4.27 vs 1.97）。
EN · 原文
The code is publicly available at https://github.com/bbsbz/ChemMLLM.git.
CN · 翻译
代码已公开：https://github.com/bbsbz/ChemMLLM.git。

关键词 Keywords：Chemical MLLM 化学多模态大模型 ｜ Molecule Understanding & Generation 分子理解与生成 ｜ SMILES ｜ Molecule Image 分子图像 ｜ VQGAN

四、引言精选（为什么这个问题重要）

① 化学天生多模态，但传统模型「只会干一件事」

EN · 原文
Recently, multimodal large language models (MLLMs) have demonstrated strong capabilities in understanding and generating across modalities such as text, images, and audio (OpenAI 2024; Sun et al. 2024; Team 2024; Liu et al. 2024; Zhou et al. 2024; Xie et al. 2024; Wang et al. 2024), enabling more natural and intuitive human–AI interaction. Chemistry is inherently multimodal, encompassing textual descriptions, structured formats like SMILES (Weininger 1988)111A SMILES (Simplified Molecular Input Line Entry System) string is a compact, text-based representation of a molecule's structure that encodes its atomic composition and connectivity in a linear format., and molecular images. Traditional machine learning models have exhibited success in specific chemical tasks (Goh et al. 2017; Fu, Xiao, and Sun 2020), but they are inherently task-specific and lack the capacity for interactive or multimodal reasoning. For example, in the molecule optimization task (the goal is to generate a similar molecule with more desirable properties), classical sequence-to-sequence models (Cho et al. 2014) may generate a SMILES string with improved properties, but cannot produce interpretable visualizations or generalize beyond that task (Figure 1).
CN · 翻译
近年来，MLLM 在文本、图像、音频等模态的理解与生成上展现出强大能力，使人与 AI 的交互更自然直观。化学天然是多模态的：包含文本描述、SMILES 等结构化格式、以及分子图像。传统机器学习模型在特定化学任务上取得了成功，但本质上是任务特定的，缺乏交互或多模态推理能力。例如在分子优化任务（目标是生成性质更优的相似分子）中，经典序列到序列模型能生成性质改善的 SMILES 串，却无法给出可解释的可视化，也无法泛化到该任务之外。

② 现有化学 MLLM 的缺口：只会「看」，不会「画」

EN · 原文
Recent efforts have begun to adapt MLLMs to chemical applications, such as property prediction and reaction understanding (Cao et al. 2023; Zhang et al. 2024b; Luo et al. 2024; Li et al. 2025). However, these models primarily treat images as inputs and focus on understanding tasks, lacking the ability to generate chemical visuals—an essential part of how chemists communicate and interpret molecular structures (Kosenkov and Kosenkov 2021). An integrated Chemical MLLM that supports both multimodal understanding and generation for chemistry remains lacking.
CN · 翻译
近期工作已开始把 MLLM 引入化学应用，如性质预测与反应理解。但这些模型主要把图像当作输入、聚焦理解类任务，缺乏生成化学图像的能力——而可视化恰恰是化学家沟通与解读分子结构的关键部分。支持化学多模态「理解＋生成」的一体化化学 MLLM 仍然缺失。

③ 三大挑战与 ChemMLLM 的应对

EN · 原文
The challenges in building such a model are as follows: (1) Vision-based chemistry tasks and datasets remain underexplored. (2) Specificity of molecule image. Unlike natural images, molecule images are sparse, containing large areas of empty space, and are composed strictly of straight lines. General MLLMs result in unclear and distorted molecules (Figure 17). (3) Challenge for selecting an effective framework for chemical MLLM to seamlessly fuse diverse modalities, including discrete SMILES string/text, and continuous molecule images. To address these issues, we propose ChemMLLM, a chemical multimodal large language model that understands and generates molecules in a unified framework. Specifically, to handle three challenges above, (1) we identify five multimodal chemistry tasks with three modalities (text, SMILES, image), which contain both generation and comprehension tasks; (2) we finetune molecule image-level Vector Quantized Generative Adversarial Network (VQGAN) to bridge the gap between molecule images and natural images; (3) we introduce the “Image Tokenizer-LLM-Image De-tokenizer” architecture into multimodal chemical tasks to fuse different modalities in early stages and enable models to generate images directly.
CN · 翻译
构建此类模型的挑战如下：(1) 基于视觉的化学任务与数据集仍未被充分探索；(2) 分子图像的特殊性——与自然图像不同，分子图像稀疏、有大片空白区域、且严格由直线构成，通用 MLLM 生成的分子模糊扭曲；(3) 如何选择有效框架，无缝融合离散 SMILES 串/文本与连续分子图像等不同模态。为解决这些问题，我们提出 ChemMLLM：一个在统一框架中理解与生成分子的化学多模态大语言模型。具体地，(1) 我们定义了三种模态（文本、SMILES、图像）的五个多模态化学任务，包含生成与理解两类；(2) 微调面向分子图像的 VQGAN，弥合分子图像与自然图像之间的鸿沟；(3) 把「图像分词器-LLM-图像去分词器」架构引入多模态化学任务，在早期阶段融合不同模态，并让模型能直接生成图像。
💡 这是全文最有味道的一句：“Unlike natural images, molecule images are sparse, containing large areas of empty space, and are composed strictly of straight lines.”——通用大模型画不好分子，不是能力不够，而是「分子图的世界」和「自然图的世界」根本不一样。领域特殊性，正是做 AI4Science 最大的机会所在。

五、论文贡献（3 个要点）

EN · 原文
1. The first unified chemical multimodal LLM. A chemical multimodal LLM understanding and generating molecules in a unified framework. We propose and implement ChemMLLM, the first unified model to understand and generate molecules in text, SMILES, and image modality, to the best of our knowledge.
CN · 翻译
1. 首个统一框架的化学多模态大模型。提出并实现 ChemMLLM——据我们所知，首个在文本、SMILES、图像三种模态上统一理解与生成分子的模型。
EN · 原文
2. A multimodal chemical dataset suite. A multimodal chemical dataset suite. We develop five new datasets to train and evaluate the multimodal chemical capability of MLLMs, which encompass a diverse spectrum of multimodal processing.
CN · 翻译
2. 多模态化学数据集套件。开发五个新数据集用于训练与评测 MLLM 的多模态化学能力，覆盖多样化的多模态处理范畴。
EN · 原文
3. Thorough empirical studies. Thorough empirical studies. We benchmark the performance of different models on our proposed five tasks and ChemMLLM achieves dominating performance. For example, in molecule image optimization (image-to-image) tasks, ChemMLLM outperforms the best baseline (GPT-4o) by 116.75%, achieving a logP (optimizing property) increase of 4.27 compared to 1.97 (best baseline, GPT-4o).
CN · 翻译
3. 充分的实证研究。在五个任务上对多种模型做基准对比，ChemMLLM 全面占优：例如在分子图像优化（图到图）任务中，比最强基线 GPT-4o 高出 116.75%，logP（优化性质）提升 4.27，而 GPT-4o 为 1.97。

六、结论中英对照

EN · 原文
This paper has proposed ChemMLLM, a chemical multimodal large language model that handles molecule comprehension and generation across text, SMILES string, and molecule image seamlessly.
CN · 翻译
本文提出 ChemMLLM——一个无缝处理文本、SMILES 串与分子图像上分子理解与生成的化学多模态大语言模型。
EN · 原文
Also, we design five cross-modal chemistry tasks and curate datasets, providing a valuable resource for multimodal AI in chemistry.
CN · 翻译
我们还设计了五个跨模态化学任务并构建数据集，为化学领域的多模态 AI 提供了宝贵资源。
EN · 原文
Across a range of tasks, experimental results demonstrate that ChemMLLM outperforms state-of-the-art MLLMs and specialized chemical LLMs, highlighting its strong performance and potential for real-world drug and material discovery.
CN · 翻译
在一系列任务上，实验结果表明 ChemMLLM 优于最先进的 MLLM 与专用化学 LLM，彰显其强大性能及在真实药物与材料发现中的潜力。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：通用大模型看不懂化学家的「语言」——分子图像稀疏、全是直线，通用模型画出来的分子模糊扭曲；而且现有化学 AI 只会「看」（理解），不会「画」（生成结构式）。
  2. 做法：ChemMLLM 把三个模块串成一条流水线——图像分词器（用 VQGAN 把分子图切成离散 token）→ LLM（负责推理与生成）→ 图像去分词器（把 token 画回分子图）；文本、SMILES、图像三种模态在早期就融合进同一套 token 流。
  3. 关键细节：先用微调过的 VQGAN 弥合「分子图 vs 自然图」的鸿沟，再设计两阶段训练（先模态对齐、再任务微调）；自己建了五个数据集，覆盖生成与理解两类任务。
  4. 结果：五个任务全面超越 GPT-4o 等通用 MLLM 和专用化学 LLM；分子图像优化任务 logP 提升 4.27 vs 1.97（+116.75%）。
  5. 价值：AI4Science 的经典示范——把化学家的领域知识（SMILES、分子图）变成大模型能处理的模态，且代码开源，任何人可以复现。
🎯 对保研的启示：这篇论文示范了「领域特殊性思维」——通用模型不行的地方，恰恰是垂直模型的机会。复试时若能讲清「分子图与自然图差在哪、我如何为此定制架构」，就抓住了 AI4Science 方向的核心竞争力。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——问题是什么？方法是什么？结果是什么？（记下 116.75% 和 4.27 vs 1.97 这两个数字）
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「为什么化学需要多模态生成」以及「分子图像特殊在哪」。
  3. 第三遍（30 分钟）：读方法文字部分（图像分词器/去分词器、VQGAN、两阶段训练），跳过所有公式与编号，只看文字描述；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出每个数字（five tasks、116.75%、4.27 vs 1.97）和术语（SMILES、molecule image optimization、cross-modal、VQGAN）。