Topology of Reasoning: Understanding Large Reasoning Models through Reasoning Graph Properties¶

会议: NeurIPS 2025
arXiv: 2506.05744
代码: GitHub
领域: LLM推理 / 可解释性 / 图论分析
关键词: reasoning graph, induction heads, small-world, cycle detection, chain-of-thought

一句话总结¶

提出"推理图"概念——通过对 LLM 隐藏状态聚类构建有向图，从环路密度、直径和小世界指标三个图论维度分析大推理模型（如 DeepSeek-R1 蒸馏系列），发现推理模型的推理图具有显著更多环路（~5/样本）、更大直径和更强小世界特性（~6倍），且这些特性随任务难度和模型规模增长。

研究背景与动机¶

领域现状：大推理模型（OpenAI-o1、DeepSeek-R1、Gemini Extended Thinking）通过长链推理达到 SOTA，但其内部推理机制不清楚
现有痛点：
已有分析停留在 token 层面（如"aha moment"、语言混合现象），缺乏结构化的分析框架
对"为什么更长的推理链有效"没有好的解释
SFT 数据构建缺乏量化指导——何为"好的推理数据"没有清晰定义
核心矛盾：推理能力的提升显然与推理过程的结构有关，但缺乏描述这种结构的形式化工具
切入角度：将 LLM 推理过程建模为有向图（推理图），用图论工具量化分析推理结构
核心idea一句话：把每个推理步骤的隐藏状态聚类为节点、推理路径为边，用环路/直径/小世界指标刻画推理模型与基础模型的结构差异

方法详解¶

整体框架¶

输入一个数学问题 → LLM 生成推理步骤序列 → 提取每步的隐藏状态表征（取特定层、所有 token 均值）→ K-means 聚类（\(K=200\)）得到节点 → 按推理顺序连边 → 构建推理图 \(G=(V,E)\) → 计算图论指标。

关键设计¶

推理图节点提取：
做什么：将推理步骤的隐藏状态映射到离散节点集合
核心思路：对推理步骤 \(r_t\)（以换行符分隔），取第 \(\ell\) 层所有 token 隐藏状态的均值 \(s_t^\ell = \frac{1}{L_t}\sum_{\mu=1}^{L_t} h_{t,\mu}^\ell\)，再对所有样本的所有步骤做 K-means 聚类
设计动机：Wang et al. 发现 K-means 聚类的中心对应简单计算操作（如加法、乘法、"wait"回检等），可解释为推理的基本单元
推理图边构建：
做什么：按推理步骤的时间顺序连接节点
核心思路：对每个问题 \(x\)，令 \(\pi = (i_1, i_2, \ldots, i_T)\) 为各步骤映射到的聚类索引，边集 \(E = \{(v_{i_t} \to v_{i_{t+1}}) | t=1,\ldots,T-1\}\)
得到：每个样本一个有向推理图
三个图论指标：
环路密度：检测推理图中的重复访问（排除自环和相邻重复），统计环路检测率和每样本平均环路数。环路代表模型的"回头检查"行为
直径：用 Dijkstra 算法计算最大最短路径距离，\(\text{diameter} = \max_u \max_{v \neq u} d(u,v)\)。代表推理探索空间的广度
小世界指标：\(S = \frac{C/C_{rand}}{L/L_{rand}}\)，其中 \(C\) 是聚类系数（局部连通性），\(L\) 是平均路径长度，\(C_{rand}, L_{rand}\) 是对应的随机图基线。高小世界指标意味着局部密集+全局高效连通

实验关键数据¶

推理模型 vs 基础模型（DeepSeek-R1-Distill-Qwen-32B vs Qwen2.5-32B）¶

指标	基础模型	推理模型	差异
环路检测率 (GSM8K)	~10%	~60%	6×
环路检测率 (MATH500)	~15%	~75%	5×
环路检测率 (AIME 2024)	~20%	~90%	4.5×
平均环路数/样本	~0.5	~5	10×
小世界指标	~1	~6	6×

环路检测率随任务难度递增：GSM8K < MATH500 < AIME 2024
推理图直径在更深层（0.9 处）最大

模型规模影响（AIME 2024）¶

模型规模	环路检测率	环路数	直径	准确率
1.5B	低	低	小	最低
7B	中	中	中	中
14B	100%	高	较大	较高
32B	~90%	最高	最大	最高

14B 的环路检测率最高（100%）但准确率不如 32B——因为 14B 存在语言混合（无意义环路）
32B 的环路更"有效"，直径最大，准确率最高

SFT 数据质量与推理图关系¶

数据集	MATH500 准确率	AIME 2024 准确率	推理图直径
s1-v1.0	92.6%	50.0%	较小
s1-v1.1	94.4%	56.7%	更大

更好的 SFT 数据（v1.1）产生更大的推理图直径，对应更好的推理性能

关键发现¶

环路 = "aha moment" 的量化：推理模型的频繁回检行为在图论上表现为环路，首次将 token 级观察提升为结构化度量
直径与探索广度正相关：更大的推理图直径意味着模型探索了更多样的推理状态
并非所有环路都有益：14B 模型的语言混合产生"垃圾环路"，说明需要区分有效和无效的环路
SFT 数据质量可通过推理图直径评估：这为数据构建提供了可量化的指导

亮点与洞察¶

推理图概念的提出：将 LLM 的推理过程从一维 token 序列提升到图结构，打开了用图论工具分析推理的大门
小世界结构的解释力：推理图的小世界特性意味着局部密集聚类（简单计算步骤紧密关联）+ 长程连接（跨越不同推理阶段），这种结构使错误恢复更容易
overthinking/underthinking 的图论解释：冗余环路→过度思考、过大直径→思维跳跃不收敛，提供了直观的诊断框架

局限性 / 可改进方向¶

K-means 聚类的 \(K=200\) 是超参数，不同 \(K\) 可能改变图结构
仅分析了数学推理任务，代码推理、逻辑推理等任务未验证
环路/直径/小世界是相关性指标，未建立因果关系——不清楚这些特性是推理能力的原因还是结果
推理图节点的语义依赖于聚类质量，部分节点可能混合多种语义

评分¶

新颖性: ⭐⭐⭐⭐⭐ 推理图概念新颖，三个图论指标的分析视角独特
实验充分度: ⭐⭐⭐⭐ 多数据集×多模型规模×多层深度，分析全面
写作质量: ⭐⭐⭐⭐ 可视化优秀，分析清晰，但因果推断不足
价值: ⭐⭐⭐⭐ 对理解推理模型机制有重要贡献，为SFT数据构建提供新视角