晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

多时相裂缝分割：用时间信息提升混凝土裂缝分割精度

准大一 · 土木工程 × 结构健康监测 × 深度学习 × 时序图像 —— 裂缝分割精读材料
原文：arXiv:2411.04620 2024年11月7日发布 arXiv 预印本（cs.CV, eess.IV） 多时相数据 × 裂缝分割 × Swin UNETR 附英文摘要朗读音频

一、论文档案

英文标题Multi-temporal crack segmentation in concrete structures using deep learning approaches
中文标题基于深度学习的混凝土结构多时相裂缝分割
作者赛义德·哈布, 佩德罗·阿昌卡拉伊, 迈赫迪·马布迪, 马库斯·格尔克（机构未在素材中标注）
发布时间2024年11月7日（v1）｜分类：cs.CV, eess.IV（计算机视觉 / 图像与视频处理）
原文链接arxiv.org/abs/2411.04620　·　全文 HTML 版
一句话概括别只看「一张照片」：把同一裂缝「随时间拍下的一串照片」一起喂给模型——多时相 Swin UNETR 用一半参数，就把裂缝分割的 IoU 从 76.69% 拉到 82.72%。
💡 为什么选这篇给你：① 结构健康监测（SHM）是土木最热门的方向之一，裂缝是最早、最常见的劣化信号；② 核心问题非常「土木」：单张图有歧义，时间序列能消歧——这个直觉大一就能懂；③ 自建 1356 组 × 32 帧数据集、公开对比单/多时相方法，数据与故事都完整。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
crack segmentation裂缝分割逐像素把裂缝从背景里分出来——每个像素回答「是裂缝还是不是」。
multi-temporal data多时相数据同一位置在不同时间拍下的一组图像（时间序列），像「连续剧」。
mono-temporal data单时相数据只取某一个时刻的单张图像。
semantic segmentation语义分割给图像每个像素贴类别标签（裂缝/非裂缝）的任务。
Swin UNETRSwin UNETR 模型结合 Swin Transformer 与 U-Net 的分割网络（MONAI 框架），支持多时相输入。
U-NetU-Net 模型经典编码-解码分割网络，靠「跳连接」保留细节。
IoU (Intersection over Union)交并比预测区域与真实区域的交集 ÷ 并集，分割任务的核心指标。
F1-scoreF1 分数精确率与召回率的调和平均，兼顾「漏检」与「误检」。
Structural Health Monitoring (SHM)结构健康监测用传感器/图像持续监测结构状态、预警损伤的系统。
temporal consistency时间一致性相邻时刻的分割结果是否稳定连贯，不忽好忽坏。
data augmentation数据增强训练时对图像做旋转、缩放等变换，提升模型鲁棒性。
trainable parameters可训练参数模型里需要学习调整的权重数量——参数少意味着更轻量、更省算力。
deserialized mono-temporal dataset反序列化单时相数据集把多时相数据集「拆开」只保留单帧，用于公平对比单时相方法。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
Cracks are among the earliest indicators of deterioration in concrete structures.
CN · 翻译
裂缝是混凝土结构劣化最早的指示信号之一。
EN · 原文
Early automatic detection of these cracks can significantly extend the lifespan of critical infrastructures, such as bridges, buildings, and tunnels, while simultaneously reducing maintenance costs and facilitating efficient structural health monitoring.
CN · 翻译
对这类裂缝的早期自动检测，能显著延长桥梁、建筑、隧道等关键基础设施的使用寿命，同时降低养护成本、支撑高效的结构健康监测（SHM）。
EN · 原文
This study investigates whether leveraging multi-temporal data for crack segmentation can enhance segmentation quality.
CN · 翻译
本研究探讨：利用多时相数据进行裂缝分割，能否提升分割质量。
EN · 原文
Therefore, we compare a Swin UNETR trained on multi-temporal data with a U-Net trained on mono-temporal data to assess the effect of temporal information compared with conventional single-epoch approaches.
CN · 翻译
因此，我们把「用多时相数据训练的 Swin UNETR」与「用单时相数据训练的 U-Net」进行对比，评估时间信息相对于传统单时刻方法的作用。
EN · 原文
To this end, a multi-temporal dataset comprising 1356 images, each with 32 sequential crack propagation images, was created.
CN · 翻译
为此构建了一个多时相数据集：1356 组图像，每组含 32 张连续的裂缝扩展图像。
EN · 原文
After training the models, experiments were conducted to analyze their generalization ability, temporal consistency, and segmentation quality.
CN · 翻译
训练完成后开展实验，分析模型的泛化能力、时间一致性与分割质量。
EN · 原文
The multi-temporal approach consistently outperformed its mono-temporal counterpart, achieving an IoU of 82.72% and a F1-score of 90.54%, representing a significant improvement over the mono-temporal model's IoU of 76.69% and F1-score of 86.18%, despite requiring only half of the trainable parameters.
CN · 翻译
多时相方法稳定优于单时相对应模型：IoU 达 82.72%、F1 分数 90.54%，较单时相模型的 76.69% 与 86.18% 显著提升——而且可训练参数只有一半。
EN · 原文
The multi-temporal model also displayed a more consistent segmentation quality, with reduced noise and fewer errors.
CN · 翻译
多时相模型的分割质量也更稳定：噪声更少、错误更少。
EN · 原文
These results suggest that temporal information significantly enhances the performance of segmentation models, offering a promising solution for improved crack detection and the long-term monitoring of concrete structures, even with limited sequential data.
CN · 翻译
结果表明，时间信息能显著增强分割模型的性能，为改进裂缝检测与混凝土结构长期监测提供了有前景的方案——即使时序数据有限也有效。

关键词 Keywords：Crack Segmentation 裂缝分割 ｜ Multi-temporal Data 多时相数据 ｜ Deep Learning 深度学习 ｜ Structural Health Monitoring 结构健康监测

四、引言精选（为什么这个问题重要）

① 基础设施与结构健康监测（SHM）为什么重要

EN · 原文
Infrastructures such as roads, bridges, dams, harbors, and buildings are essential to the sustainability and efficiency of economic activities, to ensure public safety, and to facilitate social interactions (Zhou et al.,, 2023; Maboudi et al.,, 2024). Many of these infrastructures are constructed from materials such as concrete, asphalt, or stone and face various challenges, including fatigue stress, cyclic loading, and cumulative effects of time, along with increasing human and environmental pressure (Mohan and Poobal,, 2018; König et al.,, 2022; Kheradmandi and Mehranfar,, 2022).
CN · 翻译
道路、桥梁、大坝、港口、建筑等基础设施支撑着经济活动的可持续与高效运转、保障公共安全。它们多用混凝土、沥青或石材建造，面临疲劳应力、循环荷载、时间累积效应以及日益增长的人类与环境压力，可能损害结构完整性、降低资产价值——因此迫切需要有效的结构健康监测（SHM）来延长关键结构寿命、降低维修成本、保护人与环境。

② 裂缝：劣化的第一信号

EN · 原文
One of the first and most common indicators of structural degradation and reduced structural integrity is the presence of cracks on the surfaces of structures (König et al.,, 2022; Hamishebahar et al.,, 2022). Cracks begin at the microscopic level and continuously reduce the local stiffness of materials and create material discontinuities (Mohan and Poobal,, 2018). If left untreated, these cracks grow in size, and the cost and effort required to repair them increase accordingly. To mitigate consequential safety issues, it is crucial for SHM to accurately assess the state of a structure and identify indicators of future damage, such as cracks König et al., (2022).
CN · 翻译
结构退化和完整性下降最早、最常见的指标之一就是表面裂缝。裂缝从微观尺度开始，持续降低材料局部刚度、造成材料不连续；若不处理会不断长大，修复成本随之上升。因此 SHM 必须准确评估结构状态、识别裂缝这类未来损伤的指标。

③ 人工巡检的缺点

EN · 原文
Traditionally, manual visual assessment by an inspector has been the standard method for identifying cracks. However, new machine learning (ML) techniques, particularly deep learning (DL), have begun to change this landscape. Manual assessments are costly, labor-intensive, time-consuming, and require highly trained experts. Despite this training, human factors can lead to subjective results (Hamishebahar et al.,, 2022; Mohan and Poobal,, 2018; Maboudi et al.,, 2021). For instance, inspectors may experience fatigue during assessments, exhibit inconsistencies in their evaluations, or receive inadequate training (König et al.,, 2022). Moreover, the manual inspection can pose hazards to inspectors owing to unsafe structures (Kheradmandi and Mehranfar,, 2022).
CN · 翻译
传统上由巡检员人工目视评估，但人工评估昂贵、费力、耗时，且需要高度训练的专业人员；人还会疲劳、评估不一致、培训不足；结构不安全时巡检有危险，有些位置根本到不了，巡检还可能造成交通中断。

④ 计算机视觉 + 无人机：新的可能

EN · 原文
Given these disadvantages, automatic crack detection methods are required. Computer vision (CV) techniques, in conjunction with ML/DL, have proven to be effective for this purpose. In this subfield, image-based approaches have emerged as the most cost-effective methods because of the widespread availability of cameras (Hamishebahar et al.,, 2022). When mounted on UAVs, these systems can reach otherwise inaccessible locations without interrupting structure use (Mohan and Poobal,, 2018).
CN · 翻译
鉴于这些缺点，自动裂缝检测势在必行。计算机视觉（CV）配合机器学习/深度学习已被证明有效；其中图像方法因摄像头普及而最具成本效益，装在无人机（UAV）上还能到达人类无法接近的位置，且不打断结构使用。

⑤ 研究空白与本文定位

EN · 原文
To the best of the authors' knowledge, and as stated by König et al. (2022), there is a lack of research regarding the use of multi-temporal data for CV tasks related to crack detection. In this context, we focus on the semantic segmentation of cracks using multi-temporal data, which is compared to approaches that utilize mono-temporal data. We aim to address the research gap in multi-temporal crack propagation data for semantic segmentation by providing a multi-temporal dataset and a corresponding deserialized mono-temporal dataset, which provide a foundation for future research.
CN · 翻译
据作者所知（König et al., 2022），关于裂缝检测 CV 任务使用多时相数据的研究几乎空白。本文聚焦「用多时相数据做裂缝语义分割」，并与单时相方法对比；同时提供多时相数据集与对应的反序列化单时相数据集，为后续研究奠基。
💡 这是全文最值得体会的一句：“One of the first and most common indicators of structural degradation and reduced structural integrity is the presence of cracks on the surfaces of structures.”——裂缝是结构「生病」最早发出的信号：早发现，修起来便宜；晚发现，代价翻倍。这就是结构健康监测的底层逻辑。

五、论文贡献（2 个要点）

EN · 原文
Development and assessment of mono- and multi-temporal models for crack segmentation.
CN · 翻译
1. 模型开发与评估。开发并评估用于裂缝分割的单时相与多时相模型。
EN · 原文
Creation of a multi-temporal dataset and a corresponding deserialized mono-temporal dataset.
CN · 翻译
2. 数据集创建。创建多时相数据集及对应的反序列化单时相数据集。

六、结论中英对照

EN · 原文
This study examined the effect of multi-temporal data on the performance of semantic segmentation for crack images. The Swin UNETR was trained on a multi-temporal crack dataset, whereas a U-Net was trained on the deserialized version of the same dataset for comparison. Swin UNETR achieved an IoU of 82.72%82.72% and an F1-score of 90.52%90.52%, whereas U-Net resulted in an IoU of 76.69%76.69% and an F1-score of 86.81%86.81% on the test set. This indicates that the multi-temporal approach outperformed the mono-temporal approach, even when utilizing only half the parameters compared to U-Net.
CN · 翻译
本研究考察了多时相数据对裂缝图像语义分割性能的影响：Swin UNETR 用多时相数据集训练，U-Net 用同一数据集的单时相版本训练作对比。测试集上 Swin UNETR 的 IoU 为 82.72%、F1 为 90.52%，U-Net 为 76.69% 与 86.81%——多时相方法仅用 U-Net 一半参数就胜出。
EN · 原文
The multi-temporal Swin UNETR demonstrated superior segmentation quality compared with the mono-temporal U-Net. Swin UNETR predictions exhibited greater consistency, reduced noise, and enhanced ability to distinguish cracks from visually similar features in the images. By leveraging the entire time-series data, the multi-temporal model significantly improved its performance in ambiguous image regions, resulting in more confident predictions. These properties enable a use-case of multi-temporal segmentation models in SHM in long-term scenarios. On one hand such models have less false negatives, thereby triggering fewer false alarms and on the other hand the superior segmentation quality facilitates a better detection of actual cracks. Due to available temporal information, small and continuous misalignments of images will be learned by the model, making it easier for deployment in real-life scenarios. By employing data augmentation during training, models can be adapted to be robust against changes to the surface due to weathering.
CN · 翻译
多时相 Swin UNETR 的分割质量更优：预测更一致、噪声更少，更能区分裂缝与视觉相似特征；利用整条时间序列，模型在模糊区域显著改进、预测更自信；漏检更少、误报更少、真实裂缝检测更好；还能自动学习图像间的小幅错位，便于实际部署；配合数据增强，可适应表面风化带来的变化。
EN · 原文
In contrast, mono-temporal U-Net encountered several challenges. It struggled to segment larger cracks without introducing artifacts, and often produced noisy predictions. Furthermore, U-Net frequently failed to differentiate between actual cracks and visually similar features, highlighting its limitations in this specific application. Access to temporal information proved to be a crucial advantage for the Swin UNETR, enabling it to make informed decisions based on the evolution of features over time. This temporal context allowed the model to better interpret ambiguous areas and reduce false positives, resulting in more accurate and reliable crack segmentation.
CN · 翻译
相比之下，单时相 U-Net 挑战重重：分割较大裂缝时易引入伪影、预测嘈杂，还常把真实裂缝与视觉相似特征搞混。时间信息对 Swin UNETR 是关键优势——它能基于特征随时间的演化做决策，更好解读模糊区域、减少误报，得到更准确可靠的裂缝分割。

注：原文摘要与结论中 F1-score 数值不完全一致（摘要 90.54%/86.18% vs 结论 90.52%/86.81%），两处均照原文逐字摘录，请以论文原文为准；结论中「82.72%82.72%」等为 PDF 提取的字体切换双写伪影，实为 82.72% 等单一数值。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：裂缝在照片里经常「看不清」——阴影、污渍、纹理都可能像裂缝（误报），裂缝太细又容易漏（漏检）。单张照片的信息不够。
  2. 做法：同一面墙/桥墩，隔一段时间拍一张，凑成一串「连续剧」；让 Swin UNETR 一次看完整串图像再分割。裂缝会随时间长大、变清晰，时序信息帮模型「越看越确定」。
  3. 结果：IoU 从 76.69% 提到 82.72%，F1 从 86.18% 提到 90.54%，而且参数只有 U-Net 的一半——又准又轻。
  4. 最值钱的观点：很多任务「单帧有歧义、时序可消歧」。多时相不只是「多几张图」，而是把「变化」本身变成信号。
  5. 工程意义：桥梁、隧道巡检现在常用无人机定期拍照——本来就有时间序列数据！这篇告诉你：把历史照片一起用上，检测会明显更准，几乎零额外成本。
🎯 对保研的启示：这篇示范了「换个数据视角」的创新——方法（Swin UNETR、U-Net）都是现成的，创新点在「把单帧问题升级成时序问题」。保研面试时可以讲：创新不一定靠新模型，也可以是重新定义输入。另外，自建数据集 + 开源对比，是本科生科研最容易上手的模式。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——问题是什么？方法是什么？结果是什么？
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「单帧为什么有歧义、时序为什么能消歧」以及结论里多时相 vs 单时相的对比。
  3. 第三遍（30 分钟）：读方法文字部分（Swin UNETR、U-Net、数据集构造），跳过所有公式和编号，只看文字描述；遇到不懂的术语回查术语表。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出每个数字（1356 images、32 sequential images、82.72%、90.54%、76.69%、86.18%）和术语（multi-temporal、Swin UNETR、IoU、F1-score、mono-temporal）。