LLM-Guided Semantic Bootstrapping for Interpretable Text Classification with Tsetlin Machines¶

会议: ACL 2026
arXiv: 2604.12223
代码: 无
领域: 可解释性 / 文本分类
关键词: Tsetlin Machine, 语义引导, 符号学习, 子意图发现, 可解释分类

一句话总结¶

本文提出 LLM 引导的语义引导框架，通过 LLM 生成子意图和三阶段课程式合成数据训练非否定 Tsetlin Machine（NTM），提取高置信度符号特征注入真实数据，使标准 TM 在保持完全可解释性的同时逼近 BERT 的分类性能。

研究背景与动机¶

领域现状：Tsetlin Machine（TM）因其子句级透明性在可解释 NLP 中受到关注，已应用于文档分类、情感分析等任务。而 BERT 等预训练语言模型提供强大的语义表示但成本高且不透明。

现有痛点：(1) TM 基于布尔词袋（BoW）表示，无法泛化语义相近但词形不同的表达——除非训练数据中明确出现；(2) 用 Word2Vec/GloVe 增强 TM 输入只能提供有限的语义对齐；(3) BERT 虽然表现好但在法律、医疗等高风险领域中缺乏决策可追溯性。

核心矛盾：符号可解释性与语义泛化能力之间存在根本矛盾——BoW 表示保证了透明性但牺牲了语义理解，嵌入表示捕获了语义但失去了可解释性。

本文目标：在不引入嵌入层或运行时 LLM 调用的前提下，将 LLM 的语义知识以符号形式转移到 TM 中。

切入角度：利用 LLM 生成可解释的子意图（如 positive_due_to_plot）和对应的合成数据，通过符号增强而非嵌入增强来桥接语义鸿沟。

核心 idea：LLM 不参与分类推理，而是在离线训练阶段作为"语义教师"，通过子意图分解和课程式数据生成为 TM 提供符号化的语义先验。

方法详解¶

整体框架¶

框架分三个阶段：(1) LLM 引导的子意图发现和三阶段合成数据生成（Seed→Core→Enriched）；(2) 在合成数据上预训练 Non-Negated TM（NTM）以提取高置信度符号特征；(3) 将 NTM 提取的语义特征注入真实数据的 BoW 表示，在增强表示上微调标准 TM。最终推理时完全是符号计算，无需 LLM 或嵌入。

关键设计¶

LLM 引导的子意图发现与三阶段数据生成:
- 功能：将类别标签分解为可解释的语义驱动因素并生成多样化的训练数据
- 核心思路：LLM 将每个类别分解为细粒度子意图（如 positive→positive_due_to_plot, positive_due_to_acting）。然后通过三阶段课程生成合成数据：Seed 阶段生成 15-20 词的规范表达作为锚点；Core 阶段保持词汇稳定但变化句法结构；Enriched 阶段引入同义词和组合短语扩展词汇空间
- 设计动机：单步 LLM 生成容易坍缩为高概率模式或过于泛化的短语；三阶段策略遵循课程学习原则，确保覆盖度、词汇多样性和语义忠实度——每一点都对布尔符号模型的子句形成至关重要
Non-Negated Tsetlin Machine（NTM）:
- 功能：从合成数据中提取稳定的高置信度语义符号特征
- 核心思路：NTM 修改标准 TM 的两个方面：(1) 消除否定文字，子句变为纯单调合取 \(C_\iota^\kappa = \bigwedge_{k \in I_\iota^\kappa} x_k\)；(2) 增强 Type I 反馈（\(P_{\text{reward}}=1.0\), \(P_{\text{penalty}}=0.0\)），使 TA 快速收敛到高置信度文字集。提取 TA 状态最深的文字作为语义指示器
- 设计动机：去除否定文字确保子句语义的单调可解释性——所有学到的规则反映的是肯定相关的词汇模式；增强反馈确保在合成数据上快速稳定收敛
语义特征注入与 TM 微调:
- 功能：将 LLM 衍生的符号语义知识注入真实数据
- 核心思路：将真实样本通过 NTM 预测子意图，收集激活子句对应的高置信度文字，将这些文字的二进制存在指示器追加到原始 BoW 表示中。标准 TM 在这种混合表示上微调
- 设计动机：增强是离线发生的，推理时不引入任何新组件——最终模型保持纯符号性和高效性。语义特征提供了原始 BoW 中不存在的跨词汇关联

损失函数 / 训练策略¶

NTM 使用修改的 Type I/II 反馈训练（150 clauses/子意图，T=5000，s=5）。标准 TM 使用整数加权变体在增强数据上微调。所有合成数据由 GPT-4o 生成（nucleus sampling, p=0.9, temp=0.7）。

实验关键数据¶

主实验¶

六个分类基准上的性能对比

方法	AG-News	R8	R52	IMDB	SST2	HoC
TM	88.34	96.16	84.62	90.62	75.61	77.42
TM (GloVe)	90.12	97.50	89.14	90.88	76.38	78.78
BERT	94.75	97.49	94.26	93.46	94.00	82.90
LLM-Guided TM	93.10	97.88	94.45	92.10	85.24	81.90

消融实验¶

各数据集上 TM 变体提升幅度

数据集	TM→LLM-TM 提升	vs BERT 差距
AG-News	+4.76%	-1.65%
R8	+1.72%	+0.39%
R52	+9.83%	+0.19%
SST2	+9.63%	-8.76%
HoC	+4.48%	-1.00%

关键发现¶

LLM-Guided TM 在 R8 和 R52 上超越 BERT，同时保持完全符号可解释性
SST2 上提升最大（+9.63%）但与 BERT 差距也最大（-8.76%），说明短文本情感分析仍需上下文理解
在 HoC 生物医学数据集上接近 BERT（81.90% vs 82.90%），语义分解有效恢复了复合词（如 immunosuppression→immune+suppression）
符号特征组语义连贯：如 politics 子意图提取 {parliament, election, results}
整个推理管道保持纯符号性——无嵌入、无运行时 LLM 调用

亮点与洞察¶

"LLM 作为语义教师而非分类器"的理念优雅——利用 LLM 的世界知识但完全避免其推理时开销
子意图分解使得增强特征本身就是可解释的，不像嵌入增强那样引入黑箱
三阶段课程生成策略对布尔符号模型的子句学习特别重要——词汇稳定性和多样性的平衡是关键

局限与展望¶

依赖 LLM 生成质量——在复杂或类别重叠的领域中子意图可能不准确
去除否定文字提高了可解释性但降低了表达能力，无法捕获否定逻辑
未进行系统的超参数消融（子句数、合成样本数、加权方案等）
SST2 上与 BERT 差距较大，说明对短文本上下文理解仍有瓶颈

评分¶

新颖性: ⭐⭐⭐⭐ 将 LLM 语义知识符号化转移到 Tsetlin Machine 的思路新颖
实验充分度: ⭐⭐⭐⭐ 6 个数据集覆盖多领域，但缺少消融实验
写作质量: ⭐⭐⭐⭐ 框架描述清楚，案例分析有说服力
价值: ⭐⭐⭐⭐ 为需要可解释性的高风险场景提供了实用方案