Bilingual Paper Reading · 中英对照精读
面向点云的高效 FPGA 加速器（ESCA）
准大一 · 集成电路设计与集成系统 × FPGA × 点云处理 —— 点云加速器精读材料
原文：arXiv:2210.07803
2022年10月14日发布
arXiv 预印本（eess.SP / cs.AR / eess.IV）
点云 × 稀疏卷积 × FPGA 加速器
附英文摘要朗读音频
一、论文档案
英文标题An Efficient FPGA Accelerator for Point Cloud
中文标题面向点云的高效 FPGA 加速器
作者王子伦, 毛文东, 杨培祥, 王中风, 林军（机构未在素材中标注）
发布时间2022年10月14日（v1）｜分类：eess.SP（信号处理）、cs.AR（硬件架构）、eess.IV（图像与视频处理）
一句话概括针对子流形稀疏卷积网络（SSCN）「极端稀疏 + 复杂匹配」两大难点，提出去零策略、紧凑编码方案、稀疏数据匹配单元（SDMU）与计算核（CC）四位一体的 FPGA 加速器 ESCA，在 Xilinx ZCU102 上实现，性能比 GPU 提升约 1.88 倍、能效提升 51 倍。
💡 为什么选这篇给你：① 点云是自动驾驶、VR/AR 的核心数据形态，而「稀疏卷积为什么难加速」是芯片方向必懂的经典问题；② 论文结构教科书级——问题→三个关键技术→整机实现→对比 GPU，硬件加速论文的标准写法；③ 数字漂亮（1.88× 性能、51× 能效），是练英文数字听力的好材料。
二、核心术语表（先扫一遍再读正文）
| 英文术语 | 中文 | 大白话解释 |
|---|
| point cloud | 点云 | 3D 传感器（激光雷达等）获取的离散空间点集合，自动驾驶、VR/AR 的常见输入。 |
| submanifold sparse convolution (Sub-Conv) | 子流形稀疏卷积 | 只在非零激活及其非零邻居上做卷积，大幅节省内存与算力，是 SSCN 的核心算子。 |
| SSCN | 子流形稀疏卷积网络 | 基于 Sub-Conv 的神经网络，在 3D 语义分割等任务上效果突出。 |
| FPGA | 现场可编程门阵列 | 可重构硬件平台，适合做资源受限边缘设备的低功耗推理加速。 |
| zero removing strategy | 去零策略 | 剔除粗粒度冗余区域（大片空体素），显著减少无效计算、缓解计算负载不均。 |
| encoding scheme | 编码方案 | 用紧凑编码记录非零激活与其邻居的匹配信息，是匹配运算高效化的关键。 |
| matching operation | 匹配运算 | 为每个非零激活找出其非零邻居的对应关系——Sub-Conv 层的核心操作，通用 CNN 加速器做不了。 |
| multiply-accumulate (MAC) | 乘累加运算 | 卷积的基本运算「乘法+累加」；把不规则稀疏运算转成规则 MAC 是本文的硬件目标。 |
| sparsity | 稀疏性 | 数据中大量元素为零的性质；点云的稀疏反映真实世界的 3D 组成，与 CNN 中激活函数造成的稀疏本质不同。 |
| SDMU / CC | 稀疏数据匹配单元 / 计算核 | 本文提出的两个硬件模块：SDMU 负责匹配，CC 负责基于编码的乘累加计算。 |
| ZCU102 | ZCU102 开发板 | Xilinx 的 FPGA 评估板，本文的验证平台。 |
| GOPS | 每秒十亿次操作 | 衡量加速器计算性能的单位（Giga Operations Per Second）。 |
| power efficiency | 能效 | 每瓦特能完成的运算量；本文相比 GPU 提升 51 倍，是边缘部署的关键指标。 |
三、摘要中英对照（精读核心）
🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。
摘要 Abstract
EN · 原文
Deep learning-based point cloud processing plays an important role in various vision tasks, such as autonomous driving, virtual reality (VR), and augmented reality (AR).
CN · 翻译
基于深度学习的点云处理在众多视觉任务中扮演重要角色，例如
自动驾驶、虚拟现实（VR）与增强现实（AR）。
EN · 原文
The submanifold sparse convolutional network (SSCN) has been widely used for the point cloud due to its unique advantages in terms of visual results.
CN · 翻译
子流形稀疏卷积网络（SSCN）凭借其在
视觉效果上的独特优势，被广泛用于点云处理。
EN · 原文
However, existing convolutional neural network accelerators suffer from non-trivial performance degradation when employed to accelerate SSCN because of the extreme and unstructured sparsity, and the complex computational dependency between the sparsity of the central activation and the neighborhood ones.
CN · 翻译
然而，现有卷积神经网络加速器在加速 SSCN 时会遭遇
严重的性能退化，原因在于点云
极端且无结构的稀疏性，以及
中心激活与邻居激活稀疏性之间复杂的计算依赖。
EN · 原文
In this paper, we propose a high performance FPGA-based accelerator for SSCN.
CN · 翻译
本文提出一个
基于 FPGA 的高性能 SSCN 加速器。
EN · 原文
Firstly, we develop a zero removing strategy to remove the coarse-grained redundant regions, thus significantly improving computational efficiency.
CN · 翻译
首先，我们提出
去零策略，剔除粗粒度冗余区域，从而显著提升计算效率。
EN · 原文
Secondly, we propose a concise encoding scheme to obtain the matching information for efficient point-wise multiplications.
CN · 翻译
其次，我们提出
简洁的编码方案，获取匹配信息以支持高效的逐点乘法。
EN · 原文
Thirdly, we develop a sparse data matching unit and a computing core based on the proposed encoding scheme, which can convert the irregular sparse operations into regular multiply-accumulate operations.
CN · 翻译
第三，我们基于该编码方案开发
稀疏数据匹配单元与计算核，把不规则的稀疏运算转化为
规则的乘累加运算。
EN · 原文
Finally, an efficient hardware architecture for the submanifold sparse convolutional layer is developed and implemented on the Xilinx ZCU102 field-programmable gate array board, where the 3D submanifold sparse U-Net is taken as the benchmark.
CN · 翻译
最后，我们开发了子流形稀疏卷积层的高效硬件架构，并在
Xilinx ZCU102 FPGA 开发板上实现，以
3D 子流形稀疏 U-Net 作为基准网络。
EN · 原文
The experimental results demonstrate that our design drastically improves computational efficiency, and can dramatically improve the power efficiency by 51 times compared to GPU.
CN · 翻译
实验结果表明，我们的设计大幅提升了计算效率，且相比 GPU，能效可
提升 51 倍。
关键词 Keywords：Point Cloud 点云 ｜ Submanifold Sparse Convolution 子流形稀疏卷积 ｜ FPGA Accelerator FPGA 加速器 ｜ Power Efficiency 能效
四、引言精选（为什么这个问题重要）
① 点云的稀疏性：与 CNN 的稀疏「根本不同」
EN · 原文
Three dimensions (3D) point cloud is the inherently sparse data acquired from 3D sensors and can provide rich geometric, shape, and scale information [1]. Compared with two dimensions (2D) RGB images, 3D point cloud preserves a better understanding of the original geometric information in 3D space for deep learning-based vision tasks. While the biggest challenge of computing on the 3D point cloud comes from its extremely sparse nature.
CN · 翻译
三维（3D）点云是从 3D 传感器获取的
天然稀疏数据，能提供丰富的几何、形状与尺度信息。相比二维（2D）RGB 图像，点云在深度学习视觉任务中保留了更多 3D 空间原始几何信息；而点云计算最大的挑战，正来自其
极端稀疏的性质。
EN · 原文
What’s more, the sparsity of point cloud is fundamentally different from that in traditional convolutional neural networks (CNNs). For CNNs, the sparsity is usually caused by the activation functions. But for point cloud, its sparsity reflects the 3D composition of the real world.
CN · 翻译
更重要的是，点云的稀疏性与传统 CNN 中的稀疏
本质不同：CNN 的稀疏通常由激活函数造成，而点云的稀疏反映的是
真实世界的 3D 构成。
② 为什么通用 CNN 加速器跑不动 SSCN
EN · 原文
However, when these accelerators for CNNs are directly used for SSCN, they suffer from severe performance degradation because they can not perform the matching operation of explicitly determining each nonzero activation and searching its nonzero neighbors, which is the core operation of the Sub-Conv layer. Therefore, a dedicated accelerator for SSCN is highly desired to promote its deployment.
CN · 翻译
然而，这些 CNN 加速器直接用于 SSCN 时会
严重性能退化，因为它们无法执行「显式确定每个非零激活并搜索其非零邻居」的
匹配运算——而这正是 Sub-Conv 层的核心操作。因此，
专用的 SSCN 加速器是推动其落地的迫切需求。
③ 为什么选 FPGA 而不是 GPU
EN · 原文
Other hardware solutions such as GPUs can be deployed to accelerate the point cloud networks. However, GPUs are not suitable for resource constraint edge devices because of their high power consumption, and the matching operation also limits their performance. Concentrating on the SSCN, we propose an FPGA-based efficient SSCN accelerator, ESCA, to support the matching operation and corresponding computations.
CN · 翻译
GPU 等硬件方案也能加速点云网络，但 GPU
功耗高、不适合资源受限的边缘设备，匹配运算同样限制其性能。聚焦 SSCN，我们提出基于 FPGA 的高效 SSCN 加速器
ESCA，专门支持匹配运算及其相关计算。
💡 这是全文最有味道的一句：“the sparsity of point cloud is fundamentally different from that in traditional CNNs”——同一个「稀疏」词，来源完全不同：CNN 的稀疏是激活函数的产物，点云的稀疏是世界本身的形状。读懂这句话，就理解了为什么不能照搬 CNN 加速器。
五、论文贡献（3 个要点）
EN · 原文
1. A tile-based zero removing strategy. A tile-based zero removing strategy is proposed to improve computational efficiency. The strategy reduces the processing time of the sparse information significantly, which also alleviates the computational load imbalance.
CN · 翻译
1. 基于分块的去零策略。提出分块（tile-based）去零策略提升计算效率：大幅减少稀疏信息的处理时间，同时缓解
计算负载不均。
EN · 原文
2. An encoding scheme for the matching operation. An encoding scheme is introduced to efficiently support the matching operation. Based on the above scheme, a matching method is proposed to execute the matching operation for each nonzero activation, which solves the problems of explicit representation in the matching operation.
CN · 翻译
2. 支撑匹配运算的编码方案。引入编码方案高效支持匹配运算；在此基础上提出匹配方法，为每个非零激活执行匹配，解决了匹配运算中
显式表示的难题。
EN · 原文
3. A dedicated SSCN accelerator. A dedicated SSCN accelerator is proposed to support the matching operation and corresponding computations. The proposed design is implemented in the Xilinx ZCU102 platform and achieves significant improvement in terms of GOPS and power efficiency compared with GPU.
CN · 翻译
3. 专用 SSCN 加速器。提出专用 SSCN 加速器支持匹配运算与相应计算；设计在 Xilinx ZCU102 平台上实现，在
GOPS 与能效方面相比 GPU 获得显著提升。
六、结论中英对照
EN · 原文
In this paper, we present ESCA, an efficient FPGA-based accelerator that supports SSCN. A zero removing strategy is introduced to remove the coarse-grained redundant regions and an encoding scheme is proposed to simplify the matching operation. Based on the encoding scheme, the sparse data matching unit (SDMU) and the computation core (CC) are developed. The 3D submanifold sparse U-Net is considered for the experiment. The proposed design is implemented on Xilinx ZCU102. The experimental results show that our work outperforms the GPU by around 1.88 times and 51 times in terms of performance and power efficiency.
CN · 翻译
本文提出
ESCA——支持 SSCN 的高效 FPGA 加速器：用去零策略剔除粗粒度冗余区域，用编码方案简化匹配运算；基于编码方案开发了
稀疏数据匹配单元（SDMU）与计算核（CC）。实验采用 3D 子流形稀疏 U-Net，设计实现于 Xilinx ZCU102。实验结果表明：相比 GPU，我们的工作在
性能上提升约 1.88 倍、能效上提升 51 倍。
七、编者解读：这篇论文到底讲了什么（大白话版）
- 问题：点云数据 99% 以上的位置是空的（稀疏），SSCN 只在「有数据的地方」算卷积。但这带来一个硬件难题——每个非零点和谁相乘？必须先去「匹配邻居」，而通用 CNN 加速器根本没这个功能，硬跑就严重浪费算力。
- 做法：三步拆解——① 去零：先把大片没有数据的区域整体扔掉，减少无效遍历；② 编码：用紧凑编码记录「哪个点和哪些邻居配对」，让匹配信息一目了然；③ 硬件化：专门做两个模块，SDMU 负责匹配、CC 负责把稀疏乘加变成整齐的乘累加流水。
- 结果：在 Xilinx ZCU102 上跑 3D 稀疏 U-Net，性能是 GPU 的约 1.88 倍，能效是 GPU 的 51 倍——FPGA 的「定制化」赢了 GPU 的「通用性」。
- 最值钱的观点：硬件加速器的设计必须「跟着算子的本质走」——理解 Sub-Conv 的核心操作是「匹配」而不是「乘加」，整个架构就顺理成章；这也是体系结构研究的通用思路：先找瓶颈运算，再设计专用硬件。
- 工程意义：自动驾驶汽车、AR 眼镜都是功耗受限的边缘设备，51 倍能效意味着同样电量能跑更久的实时点云感知，这正是 FPGA 方案的现实价值。
🎯 对保研的启示：这篇论文示范了硬件方向的标准研究流程——「分析算子瓶颈 → 提出算法级优化（去零、编码）→ 映射为硬件模块 → 与 GPU 对比」。面试时能讲清「为什么匹配运算是瓶颈」以及「编码如何简化它」，比背下 51× 这个数字更能证明你真读懂了。
八、给准大一的阅读路线图 & 延伸方向
📖 怎么读这篇论文（三遍法）
- 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——加速的对象是谁？难点在哪？最后比 GPU 强多少？
- 第二遍（20 分钟）：读引言 + 结论，重点体会「CNN 的稀疏 vs 点云的稀疏」的区别，以及「匹配运算为什么是核心瓶颈」。
- 第三遍（30 分钟）：读三个贡献的文字部分，跳过所有公式、编码细节和时序图；不懂的术语回查术语表，可以把「去零-编码-匹配-乘累加」这条链在纸上画出来。
🚀 这个方向你能延伸做什么
- 现在就能做：找一个开源点云数据集（如 KITTI），用 Python 统计一下数据稀疏度——亲手感受「为什么大部分算力被浪费」。
- 大一→大二：学好数字逻辑与计算机组成原理；FPGA 加速的根基就是「时序、流水、并行」，这些课程会一路陪你到大三。
- 大二→大三：方向可扩展为神经网络硬件加速（CNN/Transformer/稀疏算子）、FPGA 与 ASIC 设计、自动驾驶感知芯片、存内计算——都是集成电路与系统的热门方向；国内可关注《电子学报》与 DAC/ICCAD/FCCM 会议论文。
九、英文摘要朗读（练听力用）
先盲听一遍→再看对照稿→再听一遍。目标是听出每个数字（1.88 倍、51 倍）和术语（submanifold sparse convolution、matching operation、ZCU102）。