Thought Communication in Multiagent Collaboration¶

会议: NeurIPS 2025
arXiv: 2510.20733
代码: 未公开
领域: LLM评估 / 多智能体协作
关键词: 多智能体协作, 思想通信, 潜变量模型, 可辨识性理论, 前缀注入, 稀疏自编码器

一句话总结¶

提出 ThoughtComm 框架，将多智能体通信形式化为隐变量生成模型，证明了在非参数条件下共享思想和私有思想均可辨识，并通过稀疏正则化自编码器提取潜在思想、经前缀注入回馈给每个智能体，在数学推理任务上相比当前 SOTA 的 Multiagent Finetuning 平均提升 19.06%。

研究背景与动机¶

领域现状：自然语言自古以来就是人类协作的核心媒介，它促成了大规模社会合作与知识传递。然而，自然语言本质上是顺序的、模糊的、不精确的——它只能间接地、碎片化地反映人类的内在思想。在基于大语言模型（LLM）的多智能体系统（Multi-Agent Systems, MAS）领域，现有方法几乎完全依赖自然语言作为智能体间的通信媒介，智能体之间交换的是文本 token 或者 token 的嵌入向量。代表性的工作包括 Multi-Agent Debate（Du et al., 2023）、Encouraging Divergent Thinking（Liang et al., 2023）等，这些系统通过让多个 LLM 智能体以自然语言消息进行多轮辩论来协调推理、达成共识。

现有痛点：尽管基于语言的多智能体辩论在很多任务上展示了改进，但近期多项实证研究（Cemri et al., 2025; Hu et al., 2025）揭示了当前系统的典型失败模式：消息规范模糊和智能体间不对齐。这些问题的根源在于语言通信本身的"有损"特性——自然语言只是思想的一个间接、不完整的投射，智能体真正的内在推理状态无法被精确传达。例如，一个智能体在求解数学问题时，可能隐含地考虑了多个推理路径的权衡，但用语言表达出来时只能选择性地展示部分推理过程，其他智能体接收到的信息必然是残缺的。

核心矛盾：人类受限于语音和感知的物理约束，不得不依赖语言这种有损通道。但机器并不受这些物理限制——它们有直接访问内部表示的能力。然而，现有的多智能体系统设计却照搬了人类的通信范式，用自然语言或其嵌入来传递信息。这就产生了一个根本性矛盾：我们让不受语言物理限制的机器，去使用为人类物理限制而设计的通信方式。这不仅继承了语言的所有局限，还浪费了机器可以直接操作内部表示的独特优势。

本文目标 作者将问题分解为三个层次：（1）如何从智能体的内部状态中识别出驱动其推理的"潜在思想"？（2）如何区分哪些思想是智能体之间共享的、哪些是私有的？（3）如何将识别到的相关思想有效地注入到每个智能体的生成过程中？

切入角度：作者从非线性独立成分分析（Nonlinear ICA）和潜变量可辨识性理论出发，提出了一个核心观察——每个智能体的模型内部状态（model state）可以看作是某组潜在思想（latent thoughts）经过一个未知的生成函数产生的。如果我们能从观测到的内部状态中"反解"出这些潜在思想，就可以让智能体直接交换思想而非语言，实现真正的 mind-to-mind 通信。这个角度之所以有希望，是因为非线性 ICA 领域近年来在结构稀疏性条件下取得了可辨识性突破（Zheng et al., 2022; Lachapelle et al., 2022），使得在没有辅助信息的情况下恢复潜在变量成为可能。

核心 idea：将多智能体通信形式化为隐变量生成过程，证明在稀疏正则化下潜在思想可辨识，然后用自编码器提取思想、按结构分配给各智能体、经前缀注入实现"心灵感应"式协作。

方法详解¶

整体框架¶

ThoughtComm 的整体 pipeline 如下：在每个通信轮次 \(t\)，首先收集所有 \(n_a\) 个智能体在该轮开始前的模型内部状态 \(H_t = (H_t^{(1)}, \ldots, H_t^{(n_a)})\)（具体取每个智能体最后一个 token 的隐藏层表示），将它们拼接成一个全局状态向量。然后将这个向量送入一个预训练好的稀疏正则化自编码器，编码得到潜在思想 \(\hat{Z}_t\)。接下来，利用自编码器的 Jacobian 非零模式推断出每个潜在维度与每个智能体之间的依赖结构，据此将相关的思想路由给对应的智能体，并通过协议级加权为每个智能体构建个性化的潜在表示 \(\tilde{Z}_t^{(i)}\)。最后，将该表示通过一个learned adapter转换为前缀向量 \(P_t^{(i)}\)，注入到智能体的下一轮生成过程中。整个框架不修改任何 LLM 的权重参数，仅训练轻量级的自编码器和适配器。

关键设计¶

数据生成过程形式化与隐变量模型:
- 功能：将多智能体通信建模为一个隐变量生成过程，所有智能体的模型状态被视为潜在思想经未知函数生成的观测值
- 核心思路：设在通信轮次 \(t\)，所有智能体的全局模型状态为 \(H_t = (H_t^{(1)}, \ldots, H_t^{(n_a)})\)，其中每个 \(H_t^{(j)} \in \mathbb{R}^{n_{h_j}}\) 表示智能体 \(A_j\) 的内部状态。假设存在一组潜在思想 \(Z_t = (Z_{t,1}, \ldots, Z_{t,n_z}) \in \mathbb{R}^{n_z}\)，以及一个未知的生成函数 \(f\)，使得 \(H_t = f(Z_t)\)。这个 \(f\) 被假设为可逆的（保证信息无损）且二阶可微的（保证梯度定义良好），这两个假设在非线性 ICA 文献中被广泛采用。关键在于，思想与智能体之间的结构依赖关系通过 Jacobian 矩阵 \(J_f(Z_t)\) 的非零模式来刻画：定义二值矩阵 \(B(J_f) \in \{0,1\}^{n_h \times n_z}\)，其中 \(B(J_f)_{i,j} = 1\) 当且仅当存在某个 \(z_t\) 使得 \(J_f(z_t)_{i,j} \neq 0\)。基于此，与智能体 \(A_k\) 相关的潜在思想集合定义为 \(Z_{H_t^{(k)}} = \{Z_{t,j} \in Z_t \mid \exists i \in [k_l, k_h]\ \text{s.t.}\ B(J_f)_{i,j} \neq 0\}\)
- 设计动机：这个形式化为后续的理论分析提供了坚实基础。通过将问题转化为经典的非线性 ICA 框架，可以借助可辨识性理论来保证恢复出的潜在思想确实对应于真实的内在推理成分。与之前的方法只在 token 或嵌入层面操作不同，这里直接在生成过程的层面建模，从根本上绕过了语言的瓶颈
三重可辨识性理论保证:
- 功能：证明在一般非参数条件下，共享思想、私有思想和思想结构均可从观测到的模型状态中恢复
- 核心思路：作者建立了三个逐步深入的可辨识性定理。Theorem 1（共享思想可辨识）：对于任意一对智能体 \(A_i\) 和 \(A_j\)，在对估计模型的 Jacobian \(J_{\hat{f}}\) 施加 \(\ell_0\) 正则化的条件下，存在一个排列 \(\pi\)，使得共享思想 \(Z_i \in Z_{H_t^{(i)}} \cap Z_{H_t^{(j)}}\) 与非共享思想之间满足 \(\partial Z_i / \partial \hat{Z}_{\pi(j)} = 0\)。直觉上，这意味着恢复出的共享思想不会与系统中的其他潜变量发生纠缠。Theorem 2（私有思想可辨识）：类似地，任意智能体的私有思想成分 \(Z_i \in Z_{H_t^{(i)}} \setminus Z_{H_t^{(j)}}\) 也可以与其他所有潜变量解纠缠。这对于保留认知多样性至关重要——就像人类团队中不同成员带来的独特视角一样，私有思想可能包含关键的稀有洞察。Theorem 3（思想结构可辨识）：连接潜在思想与智能体状态的非零模式 \(B(J_f)\) 可以恢复至多一个排列矩阵 \(P\)，即 \(B(J_{\hat{f}}) = B(J_f) P\)。这意味着我们不仅能恢复每个思想的内容，还能知道哪些智能体持有哪些思想。所有定理的假设仅要求生成函数 \(f\) 在不同样本点上有足够的变化性，使得 Jacobian 能够张成其支撑子空间——这是非线性 ICA 文献中的标准温和假设
- 设计动机：没有可辨识性保证，从神经网络中恢复出的潜在表示可能是任意思想的混合体，无法作为可靠的通信内容。这三个定理为框架提供了理论合法性。值得注意的是，与之前的可辨识性工作通常需要辅助信息（如时间标签、干预信号）或特定函数类假设不同，这里仅利用稀疏性和多智能体的结构对偶性就实现了辨识，这本身就是对经典可辨识性理论的新贡献。作者采取的策略也很聪明：不追求全局恢复所有潜变量（在当前假设下是不可能的），而是聚焦于成对智能体间的共享/私有分解——这恰好是通信所需要的粒度
稀疏正则化自编码器与思想提取:
- 功能：将理论上的隐变量恢复问题转化为实际可训练的神经网络架构，从智能体模型状态中提取潜在思想
- 核心思路：框架使用一个自编码器来近似生成函数 \(f\) 的逆。将所有智能体的模型状态拼接成 \(H_t\) 后，通过编码器 \(\hat{f}^{-1}\) 映射到潜在空间得到 \(\hat{Z}_t = \hat{f}^{-1}(H_t) \in \mathbb{R}^{n_z}\)。训练目标包含两部分：重构损失确保信息保存，稀疏正则化实现理论要求的 \(\ell_0\)（实际用 \(\ell_1\) 松弛）约束。具体损失函数为 \(\mathcal{L}_{\text{rec}} = \|H_t - \hat{f}(\hat{Z}_t)\|_2^2 + \|J_{\hat{f}}\|_1\)。这里的 \(\ell_1\) 正则化作用在解码器的 Jacobian 上，而非权重矩阵上——这是直接受理论指导的设计选择。训练完成后，用编码器提取思想，用 Jacobian 的非零模式 \(B(J_{\hat{f}})\) 推断思想-智能体结构
- 设计动机：自编码器是实现理论框架的自然选择——编码器对应恢复映射 \(\hat{f}^{-1}\)，解码器对应估计的生成函数 \(\hat{f}\)。Jacobian 上的 \(\ell_1\) 正则化直接来自定理中的 \(\ell_0\) 条件，\(\ell_1\) 是 \(\ell_0\) 的标准凸松弛。关键的是，这个自编码器是任务无关的——它只需要重构模型状态，不需要任何下游任务标签，因此可以预训练一次后跨任务复用
协议级思想路由与加权:
- 功能：根据恢复出的思想结构，为每个智能体构建个性化的思想表示，区分共享和私有成分
- 核心思路：对于智能体 \(A_i\)，首先通过结构掩码确定与其相关的思想集合 \(\hat{Z}_{H_t^{(i)}}\)。然后按照协议水平（agreement level）对思想进行分组：每个思想维度 \(\hat{Z}_{t,j}\) 的协议度定义为 \(\alpha_j = \sum_{k=1}^{n_a} \mathbb{I}(\hat{Z}_{t,j} \in \hat{Z}_{H_t^{(k)}})\)，即依赖该维度的智能体数量。具有相同协议度的思想被归为一组，每组分配一个可学习的权重 \(w_{\alpha_j}\)。最终，智能体 \(A_i\) 的个性化表示通过拼接所有加权组来构建：\(\tilde{Z}_t^{(i)} = \text{concat}_\alpha(w_{\alpha_j} \cdot \hat{Z}_{t,\alpha}^{(i)})\)
- 设计动机：不同的思想类型应该有不同的通信优先级。被所有智能体共享的思想（高协议度）可能代表共识和公共知识，被少数智能体持有的思想（低协议度）可能代表独特的洞察或少见但关键的约束条件。通过加权机制，系统可以灵活地调节不同类型思想的影响力，例如在需要快速达成共识的场景中增大共享思想的权重，或在探索性任务中增大私有思想的权重
前缀适配器与思想注入:
- 功能：将构建好的个性化潜在表示无缝地注入到每个智能体的 LLM 生成过程中
- 核心思路：使用一个learned adapter函数 \(g\) 将 \(\tilde{Z}_t^{(i)}\) 转换为前缀矩阵 \(P_t^{(i)} = g(\tilde{Z}_t^{(i)}) \in \mathbb{R}^{m \times d}\)，其中 \(m\) 是前缀长度，\(d\) 是嵌入维度。这个前缀被 prepend 到智能体下一轮生成时的 token 嵌入前面，类似于 Prefix-Tuning（Li & Liang, 2021）的做法。适配器的训练使用两部分损失：语义相似度损失确保注入前缀后生成的内容在语义上与参考输出一致，语言流畅度正则化确保生成结果保持自然。完整损失为 \(\mathcal{L}_{\text{comm}} = \sum_{i,t} [(1 - \cos(\bar{\phi}(y_{t,i}^{\text{gen}}), \bar{\phi}(y_{t,i}^{\text{ref}}))) - \log p(y_{t,i}^{\text{gen}} \mid \text{context}_{t,i}, P_t^{(i)})]\)，其中 \(\bar{\phi}(\cdot)\) 为平均 token 嵌入
- 设计动机：前缀注入的设计有几个优势：（a）不修改 LLM 权重，保持模型的原有能力不受干扰；（b）前缀可以编码连续的、丰富的潜在信息，而不是被离散 token 词表所限制——实验表明即使只用1个前缀 token 就能取得近最优性能，这说明前缀嵌入比普通 token 嵌入有更高的信息密度；（c）适配器同样是任务无关的，可以预训练后复用。此外，适配器只要求生成的内容"在语言上自然"，而不需要复制参考答案的具体内容，这使得训练目标很宽松且容易优化

损失函数 / 训练策略¶

整体训练分为两个阶段，均与下游任务无关：

阶段一：自编码器训练。使用重构损失和 Jacobian 稀疏正则化：\(\mathcal{L}_{\text{rec}} = \|H_t - \hat{f}(\hat{Z}_t)\|_2^2 + \|J_{\hat{f}}\|_1\)。训练数据来自智能体在任意问题上生成回答时产生的模型状态，无需任务标签。实际使用中随机采样 500 个样本即可。

阶段二：前缀适配器训练。注入前缀后让模型生成简短的续写（如一句话），对比语义相似度和语言流畅度。训练目标 \(\mathcal{L}_{\text{comm}}\) 只关注语言层面的自然性而非内容正确性，因此对标注数据没有要求。

两个模块的训练开销仅取决于 LLM 的嵌入维度（如 1024、4096），而非模型参数量。这意味着对 Llama-3-70B 和 Llama-3-405B 的训练开销完全相同（它们共享 16384 维嵌入），而 Multiagent Finetuning 在 405B 时的训练成本会急剧增长——这是 ThoughtComm 在工程上的一个关键优势。

实验关键数据¶

主实验¶

在 MATH 和 GSM8K 两个数学推理基准上测试，使用 3 个智能体进行 2 轮辩论，随机采样 500 个样本训练、500 个样本测试（选择较高难度的问题如 MATH level-3）：

基础模型	方法	MATH Acc(%)	MATH Consensus(%)	GSM8K Acc(%)	GSM8K Consensus(%)
Qwen 3-0.6B	Single Answer	45.80±2.23	N/A	58.20±2.21	N/A
Qwen 3-0.6B	Multiagent FT	71.20±2.03	90.07	70.80±2.03	86.40
Qwen 3-0.6B	ThoughtComm	85.00±1.60	91.20	75.80±1.92	89.27
Qwen 3-1.7B	Single Answer	43.60±2.22	N/A	67.40±2.10	N/A
Qwen 3-1.7B	Multiagent FT	75.80±1.92	95.80	84.20±1.63	96.73
Qwen 3-1.7B	ThoughtComm	93.00±1.14	95.93	85.00±1.60	97.87
Phi-4-mini (3.84B)	Single Answer	63.80±2.15	N/A	81.60±1.73	N/A
Phi-4-mini (3.84B)	Multiagent FT	60.20±2.19	78.89	82.16±1.71	91.24
Phi-4-mini (3.84B)	ThoughtComm	74.60±1.95	84.73	84.20±1.63	94.73
LLaMA 3-8B	Single Answer	36.20±2.15	N/A	60.80±2.18	N/A
LLaMA 3-8B	Multiagent FT	39.68±2.19	68.97	69.20±2.06	80.20
LLaMA 3-8B	ThoughtComm	45.60±2.23	74.67	68.40±2.08	84.87
DeepSeek-R1-8B	Single Answer	42.60±2.21	N/A	65.60±2.12	N/A
DeepSeek-R1-8B	Multiagent FT	72.40±2.00	82.87	76.80±1.89	83.13
DeepSeek-R1-8B	ThoughtComm	82.80±1.69	80.72	80.80±1.76	88.13

关键统计量：ThoughtComm 平均相对 Single Answer 提升 67.23%，相对当前 SOTA 的 Multiagent Finetuning 提升 19.06%。

消融实验¶

合成数据验证理论：

实验设置	关键指标	说明
有稀疏正则化（Ours）	共享/私有区域 \(R^2\) 均显著高于基线	成功辨识共享区域 \(Z_A \cap Z_B\) 和私有区域 \(Z_A \setminus Z_B\)、\(Z_B \setminus Z_A\)
无稀疏正则化（Baseline）	所有区域 \(R^2\) 接近且较低	三个区域无法解纠缠
大规模维度测试（124→1024维）	MCC 始终超过可辨识性阈值红线	8种维度设置下全部通过，验证全局可辨识性

辩论轮次扩展实验（LLaMA-3-8B，2→6轮）：

配置	关键指标	说明
Multiagent FT 轮次增加	准确率下降，共识度微升	多轮辩论引入冗余/噪声信息导致性能退化
ThoughtComm 轮次增加	准确率和共识度同时提升	对冗余信息具有鲁棒性
Multiagent FT (Qwen-3-1.7B)	共识度上升但准确率停滞/下降	出现"虚假共识"——智能体达成一致但答案错误
ThoughtComm (Qwen-3-1.7B)	高共识度伴随高准确率	共识度与正确性正相关

前缀长度鲁棒性（\(m \in \{1,4,8,16\}\)，四个模型）：

配置	关键指标	说明
前缀长度 1→16	四个模型性能波动均 <5%	即使只用1个前缀 token 也能达到近最优

潜在维度影响（LLaMA-3-8B, Qwen-3-1.7B）：

配置	关键指标	说明
潜在维度增至 512	准确率持续提升	更高维潜空间提供更丰富的通信容量
潜在维度 >1024	收益饱和	冗余表示带来边际递减

智能体数量扩展：

配置	关键指标	说明
2→3个智能体	显著提升	更多视角带来更好的推理
3→更多智能体	基线下降，ThoughtComm 稳定	ThoughtComm 对冗余信号具有鲁棒性

关键发现¶

训练开销极低且与模型规模解耦：ThoughtComm 仅训练自编码器和适配器，且开销只取决于嵌入维度（如 1024）而非参数量（如 8B）。这意味着从 70B 扩展到 405B 模型时，ThoughtComm 的额外开销不变，而 Multiagent Finetuning 需要成比例增加
前缀的信息密度远超 token 嵌入：虽然前缀嵌入和 token 嵌入具有相同维度，但 token 嵌入被绑定到单一词汇项且通常只编码一个离散 token 的语义（位于低维子空间上），而前缀嵌入作为自由参数可以编码多个连续潜在思想，充分利用嵌入空间的完整容量
"虚假共识"现象：Multiagent Finetuning 在增加辩论轮次时出现共识度上升但准确率下降/停滞的现象，说明智能体可能在错误答案上收敛。ThoughtComm 的结构化潜在通信避免了这种无效的从众行为
跨模型规模的一致有效性：从 0.6B 的 Qwen 3-0.6B 到 8B 的 DeepSeek-R1-distilled-Llama-8B，五个不同模型上均有显著提升，验证了框架的通用性

亮点与洞察¶

开创性的通信范式转变：这是首个将多智能体通信从"交换语言符号"提升到"交换潜在思想"的工作。这不是简单的工程优化，而是一个范式级别的创新——它本质上在问"机器之间的通信应该是什么样的？"而不是"如何让机器更好地说人话？"。这个问题对超人智能的协作至关重要
理论与实践的优雅闭环：从理论上证明可辨识性 → 理论条件直接指导网络设计（稀疏正则化）→ 实验验证理论预测（合成实验）→ 理论框架带来实际性能提升（真实基准）。这种从理论到实践的完整链条在 LLM 多智能体领域非常罕见
"一个前缀顶千言"的发现极具启发性：实验表明仅需1个前缀 token 就能编码足够丰富的思想信息来显著提升协作效果。这暗示了一种可能性——LLM 的嵌入空间比我们想象的信息容量更大，连续表示空间相比离散 token 空间有巨大的信息压缩优势。这个发现可以迁移到知识蒸馏、模型压缩等场景
对"虚假共识"的诊断价值：本文实验中发现的"高共识但低准确率"现象揭示了现有多智能体辩论系统的一个深层缺陷——语言层面的说服不等于认知层面的对齐。通过潜在空间通信，ThoughtComm 确保共识建立在真正的推理一致上

局限与展望¶

需要白盒访问模型内部状态：框架依赖提取每个智能体最后一个 token 的隐藏层表示，这对闭源 API 模型不可行。作者在附录中提出了用文本嵌入（如 Sentence-BERT）替代 model state 的方案，但尚未实验验证其效果损失有多大
理论假设的实际适用性：生成函数 \(f\) 的可逆性和二阶可微性在理论上是标准假设，但 LLM 的实际内部表示是否满足这些条件缺乏直接证据。特别是，模型状态与"思想"之间是否真的存在可逆的映射关系，这一前提尚需更深入的验证
评估范围局限于数学推理：MATH 和 GSM8K 都是有明确答案的数学问题，"思想"的定义相对清晰。在开放域对话、创意写作、多轮协商等更复杂的任务上，潜在思想的结构可能更加模糊，ThoughtComm 的优势是否能保持有待检验
仅使用最后一个 token 的隐藏状态作为 model state：这意味着每个智能体的全部推理过程被压缩成一个向量，可能丢失大量序列级的推理信息。可以考虑使用注意力池化或多位置采样来构建更丰富的状态表示
未考虑对抗性场景：在开放环境中，恶意智能体可能故意生成误导性的模型状态来污染潜在思想空间，而当前框架没有任何防御机制。需要在思想提取和注入环节引入可信度验证
协议权重的设计较为启发式：按协议度分组并赋予不同权重的策略缺乏理论支撑。是否存在最优的加权策略？能否从数据中自适应地学习这些权重？

评分¶

新颖性: ⭐⭐⭐⭐⭐ 开创"思想通信"全新范式，首次将可辨识性理论引入多智能体 LLM 通信，问题定义本身就是重大贡献
实验充分度: ⭐⭐⭐⭐ 五种模型、两个基准、合成+真实实验、多个维度的消融分析均有覆盖，但任务多样性局限于数学推理
写作质量: ⭐⭐⭐⭐⭐ 从理论到实践的叙事流畅自然，图例设计直观（如 Fig.1 的行李/速度/准时例子），数学公式呈现清晰易读
价值: ⭐⭐⭐⭐⭐ 既有理论深度也有实际价值，轻量级设计使其容易被社区采纳，开辟了超越语言通信的全新研究方向