晨光
暗夜
晨光
极光
Bilingual Paper Reading · 中英对照精读

大语言模型推理失败：首份系统性综述

准大一 · 计算机科学与技术 × AI × 认知科学 —— 大模型推理失败精读材料
原文：arXiv:2602.06176 2026年2月5日发布 arXiv 预印本（cs.AI / cs.CL / cs.LG） 推理失败 × 分类框架 × 系统综述 附英文摘要朗读音频

一、论文档案

英文标题Large Language Model Reasoning Failures
中文标题大语言模型推理失败分析（首份系统性综述）
作者宋培阳, 韩鹏锐, 诺亚·古德曼（机构未在素材中标注）
发布时间2026年2月5日（v1）｜分类：cs.AI / cs.CL / cs.LG
原文链接arxiv.org/abs/2602.06176
一句话概括把散落在各处的「大模型推理翻车案例」收拢成第一份系统综述，用「推理类型 × 失败类型」两条轴分类，并为每种失败给出定义、已有研究、根因与缓解策略。
💡 为什么选这篇给你：① 不追「模型又多强」，反向研究「模型在哪翻车」——视角稀缺，读起来很新鲜；② 分类框架（两条轴）是论文的核心贡献，完全用文字就能讲清，不需要数学；③ 附持续更新的 GitHub 资源库，你可以自己动手复现失败案例，非常适合入门 AI 研究。

二、核心术语表（先扫一遍再读正文）

英文术语中文大白话解释
reasoning failure推理失败模型在推理任务上给出错误或不合理输出的现象，即使任务看似简单。
embodied reasoning具身推理在物理世界/3D 环境中「感知—行动」一体的推理，如机器人导航、操作物体。
non-embodied reasoning非具身推理不依赖物理身体的纯心智推理，再分为直觉推理与逻辑推理两类。
informal (intuitive) reasoning非形式（直觉）推理靠直觉、常识、社会认知完成的推理，如理解他人意图。
formal (logical) reasoning形式（逻辑）推理遵循明确规则的推理，如数学证明、符号逻辑。
fundamental failure根本性失败源于 LLM 架构/训练内在约束的失败，广泛影响各类下游任务。
application-specific limitation应用特定局限只在特定领域（如数学、社会推理）显现的失败。
robustness issue鲁棒性问题输入微小变化（如换换选项顺序）就导致输出大幅不一致。
reversal curse反转诅咒模型知道「A 是 B」，却答不出「B 是 A」——方向性知识的经典失败。
confirmation bias确认偏误只找支持自己已有判断的证据，忽略反例的认知偏差。
Theory of Mind (ToM)心智理论推断他人信念、意图、情绪的能力，是社交推理的核心。
proactive interference前摄干扰旧信息占据工作记忆、干扰新信息加工的现象。
perturbation扰动对输入做微小、保持语义的修改（换选项顺序、变量改名、改写措辞）来测试稳定性。
Math Word Problem (MWP)数学应用题用自然语言叙述、需要先建模再计算的数学题。

三、摘要中英对照（精读核心）

🎧 音频在文末，可先听一遍原文再读；每个英文句都配了逐句翻译。

摘要 Abstract

EN · 原文
Large Language Models (LLMs) have exhibited remarkable reasoning capabilities, achieving impressive results across a wide range of tasks.
CN · 翻译
大语言模型（LLM）展现出卓越的推理能力，在广泛任务上取得了令人瞩目的成绩。
EN · 原文
Despite these advances, significant reasoning failures persist, occurring even in seemingly simple scenarios.
CN · 翻译
尽管进步显著，严重的推理失败依然存在，甚至在看似简单的场景中也会发生。
EN · 原文
To systematically understand and address these shortcomings, we present the first comprehensive survey dedicated to reasoning failures in LLMs.
CN · 翻译
为系统理解并解决这些缺陷，我们呈上首份专门针对 LLM 推理失败的综合综述。
EN · 原文
We introduce a novel categorization framework that distinguishes reasoning into embodied and non-embodied types, with the latter further subdivided into informal (intuitive) and formal (logical) reasoning.
CN · 翻译
我们提出一个新的分类框架：把推理分为具身型与非具身型，后者再细分为非形式（直觉）推理与形式（逻辑）推理。
EN · 原文
In parallel, we classify reasoning failures along a complementary axis into three types: fundamental failures intrinsic to LLM architectures that broadly affect downstream tasks; application-specific limitations that manifest in particular domains; and robustness issues characterized by inconsistent performance across minor variations.
CN · 翻译
与之平行，我们沿互补的轴把推理失败分为三类：根本性失败（源于 LLM 架构内在特性、广泛影响下游任务）、应用特定局限（在特定领域显现）、以及鲁棒性问题（以「微小变化下表现不一致」为特征）。
EN · 原文
For each reasoning failure, we provide a clear definition, analyze existing studies, explore root causes, and present mitigation strategies.
CN · 翻译
对每种推理失败，我们都给出清晰定义、分析已有研究、探究根本成因、并给出缓解策略。
EN · 原文
By unifying fragmented research efforts, our survey provides a structured perspective on systemic weaknesses in LLM reasoning, offering valuable insights and guiding future research towards building stronger, more reliable, and robust reasoning capabilities.
CN · 翻译
通过统一零散的研究工作，本综述为 LLM 推理的系统性弱点提供了结构化视角，为构建更强、更可靠、更稳健的推理能力指明未来方向。
EN · 原文
We additionally release a comprehensive collection of research works on LLM reasoning failures, as a GitHub repository at https://github.com/Peiyang-Song/Awesome-LLM-Reasoning-Failures, to provide an easy entry point to this area.
CN · 翻译
我们还发布了一个 LLM 推理失败研究的综合资源库（GitHub 仓库），为进入该领域提供便捷入口。

关键词 Keywords：Reasoning Failures 推理失败 ｜ Survey 综述 ｜ Embodied / Non-Embodied Reasoning 具身/非具身推理 ｜ Robustness 鲁棒性

四、引言精选（为什么这个问题重要）

① 开篇：推理是 LLM 最耀眼的涌现能力

EN · 原文
“Failure is success if we learn from it.” – Malcolm Forbes. With the rise of powerful architectures (Vaswani et al., 2023; Jiang et al., 2024a; Gu and Dao, 2024; Hasani et al., 2020), efficient algorithms (Hu et al., 2021; Zhao et al., 2024b; Gretsch et al., 2024; 2025; Dao et al., 2022), and massive data (Cai et al., 2024; Raffel et al., 2020; Gao et al., 2020), Large Language Models (LLMs) have recently shown significant success across diverse domains. These range from traditional linguistic tasks such as machine translation (Zhu et al., 2024b; Tang et al., 2024), to mathematical (Shao et al., 2024; Yang et al., 2023a; 2024a) and even scientific (Zhang et al., 2024b; Wang et al., 2023b; Brodeur et al., 2024) discoveries. Among these achievements, reasoning as an emergent capability of LLMs (Wei et al., 2022a) has attracted particular interest (Huang and Chang, 2023; Yu et al., 2023b; Qiao et al., 2023).
CN · 翻译
「失败若能被我们借鉴，便是成功。」——马尔科姆·福布斯。随着强大架构、高效算法与海量数据的崛起，LLM 近来在众多领域取得显著成功：从机器翻译等传统语言任务，到数学乃至科学发现。在这些成就中，推理作为 LLM 的涌现能力尤其引人注目。

② 本综述不争论「是否真推理」，只聚焦「为什么会失败」

EN · 原文
LLMs have set impressive records in reasoning (Wu et al., 2025a; kıcıman2024causalreasoninglargelanguage; Plaat et al., 2024), though it remains controversial whether LLMs really leverage a human-like reasoning procedure when attempting these tasks (Jiang et al., 2024b; Fedorenko et al., 2024; Amirizaniani et al., 2024b; Zhang et al., 2022). This survey does not aim to settle this hot debate; rather we focus on an important area of study in LLM reasoning that has long been overlooked – LLM reasoning failures.
CN · 翻译
LLM 在推理上创下亮眼纪录，但「它们是否真的像人一样推理」仍存争议。本综述无意终结这场辩论，而是聚焦于一个长期被忽视的重要领域——LLM 推理失败。

③ 为什么要研究失败：人类心理学给的答案

EN · 原文
Extensive psychological research (Cannon and Edmondson, 2005; Maxwell, 2007; Coelho and McClure, 2004) underscores the importance of identifying and learning from failures in human development111In fact, this theory has been confirmed even more broadly, in non-human animals (Spence, 1936).. Given that AI systems have historically drawn inspiration from human cognition (Schmidgall et al., 2023; Xu and Poo, 2023; Woźniak et al., 2020), we believe the same principle of learning from failures could similarly benefit the study of LLMs, since such failures can usually be traced back to fundamental elements and bring valuable insights to ultimate improvements (Dreyfus, 1992; Karl et al., 2024; An et al., 2024).
CN · 翻译
大量心理学研究强调「识别并从失败中学习」对人类发展的重要性（这一理论在非人类动物中也被更广泛地证实）。鉴于 AI 系统历来从人类认知中汲取灵感，我们相信「从失败中学习」同样适用于 LLM 研究——因为失败通常能追溯到根本要素，并带来通向最终改进的宝贵洞见。

④ 现状是碎片化的，需要一份统一综述

EN · 原文
Despite some existing works that prospectively realized this importance and investigated LLM reasoning failures on a case-by-case basis (Williams and Huckle, 2024; Tie et al., 2024; Helwe et al., 2021; Borji, 2023), the topic remains fragmented, and underexplored as a unified research area. This fragmentation limits broader understanding, which is however a prerequisite for common patterns to be noticed, and thereby meaningful lessons to be derived. To close this gap, we present the first comprehensive survey dedicated to unifying studies on LLM reasoning failures. We identify meaningful patterns across failures, analyze underlying causes, and discuss potential mitigation strategies.
CN · 翻译
尽管已有工作前瞻性地意识到这一重要性、逐案例地研究 LLM 推理失败，该主题仍呈碎片化状态，尚未作为统一研究领域被充分探索。碎片化限制了整体理解——而整体理解正是发现共性模式、提炼有意义教训的前提。为填补这一空白，我们呈上首份致力于统一 LLM 推理失败研究的综合综述：识别失败间的有意义模式、分析深层成因、讨论潜在缓解策略。
💡 这是全文最有味道的一句：“Failure is success if we learn from it.”——综述的立场全在这句话里：研究成功会让人盲目，研究失败才能暴露系统性弱点。这也是它敢把「反转诅咒」「确认偏误」这些翻车案例当成核心研究对象的原因。

五、论文贡献（3 个要点）

EN · 原文
1. The first comprehensive survey with a novel two-axis framework. We present the first comprehensive survey dedicated to unifying studies on LLM reasoning failures. We introduce a novel categorization framework that distinguishes reasoning into embodied and non-embodied types, with the latter further subdivided into informal (intuitive) and formal (logical) reasoning; in parallel, failures are classified into fundamental, application-specific, and robustness types.
CN · 翻译
1. 首份系统综述 + 新型双轴分类框架。呈上首份统一 LLM 推理失败研究的综合综述，提出新分类框架：推理类型轴（具身/非具身，后者再分直觉与逻辑）＋ 失败类型轴（根本性/应用特定/鲁棒性）。
EN · 原文
2. Definition–analysis–root cause–mitigation for every failure. For each reasoning failure, we provide a clear definition, analyze existing studies, explore root causes, and present mitigation strategies.
CN · 翻译
2. 每种失败都配齐「定义—研究—根因—缓解」四件套。对每种推理失败给出清晰定义、分析已有研究、探究根本成因、呈现缓解策略。
EN · 原文
3. A continuously updated public collection. We additionally make public a comprehensive collection of research works on LLM reasoning failures, as a GitHub repository at https://github.com/Peiyang-Song/Awesome-LLM-Reasoning-Failures. This collection will be continuously updated as this area advances.
CN · 翻译
3. 持续更新的公开资源库。在 GitHub 公开发布 LLM 推理失败研究的综合资源库，并随领域发展持续更新，为进入该领域提供便捷入口。

六、结论中英对照

EN · 原文
While our main taxonomy organizes failures by reasoning type, examining them along the complementary failure axis reveals cross-cutting patterns. Fundamental failures – stemming from intrinsic architectural or training constraints – manifest across all reasoning types. For example, the reversal curse (Section 4.1), cognitive biases such as confirmation bias (Section 3.1), and working memory limitations that cause proactive interference (Section 3.1) appear in informal reasoning, formal logic, and embodied settings alike.
CN · 翻译
虽然主分类法按推理类型组织失败，但沿互补的失败轴审视，会发现跨类型的共性模式。根本性失败——源于架构或训练的内在约束——在所有推理类型中都会显现：例如反转诅咒、确认偏误等认知偏差、以及引发前摄干扰的工作记忆局限，在非形式推理、形式逻辑和具身场景中同样出现。
EN · 原文
Robustness issues cut across domains but are particularly well-studied in benchmark-based evaluations (Section 4.2) and social reasoning (Section 3.2, where minor, semantically-preserving perturbations – such as reordering options in multiple-choice questions, renaming variables in code, or paraphrasing moral dilemmas – can lead to large and inconsistent shifts in model outputs). Approaches to detect robustness issues largely revolve around applying such perturbations at scale, often automatically, to stress-test model stability. This perturbation-based paradigm has proven transferable across domains, from coding benchmarks to ToM evaluations, suggesting its utility as a unified detection methodology.
CN · 翻译
鲁棒性问题横跨各领域，在基于基准的评测与社会推理中研究尤为充分：重排选择题选项、重命名代码变量、改写道德困境等微小而保持语义的扰动，可能导致模型输出发生巨大且不一致的变化。检测鲁棒性问题的方法大多围绕规模化（常为自动化）施加扰动来压力测试模型稳定性。这种基于扰动的范式已被证明可跨域迁移（从代码基准到心智理论评测），有望成为统一的检测方法论。
EN · 原文
First, root cause analyses remain incomplete for some failures, including compositional reasoning breakdowns (Section 4.1), higher-order ToM failures (Section 3.2), physical commonsense gaps in 2D and 3D environments (Sections 5.2, 5.3), and brittle multi-agent planning (Section 3.3). Bridging these requires connecting behavioral errors to specific internal mechanisms, e.g., faulty attention head coordination or insufficient intermediate representation alignment. Second, the field would benefit from unified, persistent failure benchmarks that span all failure types, akin to the very recent effort Malek et al. (2025), updated regularly to test the latest general-purpose and reasoning-specialized models. Third, failure-injection principles could be applied not only to dedicated robustness benchmarks but also to general reasoning benchmarks – by adding adversarial sections, multi-level task difficulty, or cross-domain compositions designed to trigger known weaknesses. Fourth, dynamic and event-driven benchmarks could combat overfitting and encourage continual improvement.
CN · 翻译
未来方向有四条：第一，部分失败的根因分析仍不完整（组合推理崩坏、高阶心智理论失败、2D/3D 环境中的物理常识缺口、脆弱的智能体多步规划），弥合这些需要把行为错误与特定内部机制（如注意力头协调失灵、中间表示对齐不足）联系起来。第二，学界需要统一、持久、覆盖所有失败类型的失败基准，定期更新以测试最新通用型与推理专用型模型。第三，失败注入原则不仅可用于专门的鲁棒性基准，也可用于通用推理基准——加入对抗性章节、多级难度或跨领域组合以触发已知弱点。第四，动态与事件驱动的基准能对抗过拟合、鼓励持续改进。

七、编者解读：这篇论文到底讲了什么（大白话版）

  1. 问题：大模型很能推理，但在简单场景也会翻车——比如「反转诅咒」：问它「A 是 B」，它会；问「B 是 A」，它就懵。这类失败散落在几百篇论文里，没人系统整理过。
  2. 做法：这篇综述用两条轴把所有失败摆进一张「地图」——横轴是推理类型（具身 / 非具身→直觉 / 逻辑），纵轴是失败性质（根本性 / 应用特定 / 鲁棒性）。
  3. 每条失败配四件套：定义 + 已有研究 + 根因 + 缓解策略。比如反转诅咒的根因可能来自训练数据的单向性，缓解手段包括数据增强与对称化训练。
  4. 三个洞察：① 根本性失败在所有推理类型里都会出现，说明问题在「底座」不在「应用」；② 扰动测试（换选项顺序、改变量名）是发现鲁棒性问题最有效的手段，且可跨域迁移；③ 未来最缺的是统一、持久、持续更新的「失败基准」。
  5. 价值：研究失败比研究成功更能暴露系统弱点——「失败是成功之母」在这篇论文里是字面意义上的方法论。
🎯 对保研的启示：综述类论文是「组织能力」的试金石——把几百篇零散工作装进一个框架、找出共性模式，本身就是顶级科研能力。复试时能讲清「你如何给一个混乱的领域建立秩序」，比会背十个模型名更有分量。

八、给准大一的阅读路线图 & 延伸方向

📖 怎么读这篇论文（三遍法）

  1. 第一遍（10 分钟）：只读摘要和术语表，回答三个问题——问题是什么？方法（框架）是什么？结果是什么？
  2. 第二遍（20 分钟）：读引言 + 结论，重点体会「为什么研究失败比研究成功更有价值」以及「两条分类轴分别解决什么」。
  3. 第三遍（30 分钟）：挑一个你感兴趣的失败类型（如反转诅咒、确认偏误、前摄干扰），结合术语表读对应小节；跳过所有引用编号，只看文字描述。

🚀 这个方向你能延伸做什么

九、英文摘要朗读（练听力用）

先盲听一遍→再看对照稿→再听一遍。目标是听出分类术语（embodied、non-embodied、informal、formal、fundamental、application-specific、robustness）和专名（reversal curse、GitHub）。