TableLoRA: Low-rank Adaptation on Table Structure Understanding for Large Language Models¶

会议: ACL 2025
arXiv: 2503.04396
代码: https://github.com/microsoft/TableLoRA
领域: 模型压缩
关键词: LoRA, 表格理解, 结构化数据, 2D位置编码, PEFT

一句话总结¶

TableLoRA 提出面向表格任务的专用 LoRA 模块，通过特殊 token 编码器改善表格序列化，并用 2D LoRA 编码单元格的行列位置信息，在参数高效微调设置下相比 vanilla LoRA 在 HiTab 上提升 5.9%，弥合了 LoRA 与全量微调之间 40.56% 的性能差距。

领域现状：表格数据在众多领域广泛使用，LLM 在 PEFT 范式下处理表格任务越来越重要。
现有痛点：(a) 表格序列化方式（markdown/HTML）影响模型理解，但现有方法仍无法准确识别表格结构（如同一列的对应关系）；(b) 二维表格结构被压平为一维序列后，行列位置信息只能通过注意力机制隐式学习，在低参数 PEFT 下学习不充分。
核心矛盾：表格的二维位置关系是理解表格结构的关键，但 LoRA 不显式编码这种结构信息。
本文要解决什么？ 在 PEFT 低参数设置下让 LLM 更好地理解表格结构。
切入角度：直接通过模型架构设计告诉模型表格结构关系，而非依赖注意力机制隐式学习。
核心idea一句话：用特殊 token 替代 markdown 标记改善序列化 + 用低秩行列位置编码注入每一层，显式告知 LLM 表格结构。

两个组件并行工作：(1) Special Tokens Encoder 在 Transformer 层之前引入 [tab]/[row]/[cell] 特殊 token 嵌入；(2) 2D LoRA 在每层将行列索引的低秩嵌入与 token 嵌入融合。

特殊 Token 编码器 (Special Tokens Encoder):
做什么：用 [tab]、[row]、[cell] 替代 markdown/HTML 标记进行表格序列化
核心思路：受 p-tuning 启发，这些特殊 token 有可学习的嵌入，通过微调时的梯度传播学习表格结构语义
设计动机：传统标记符号（|、\n）不是专门为表格设计的，专用 token 可以更好地表示结构边界
2D LoRA:
做什么：将行列索引信息编码为低秩嵌入，注入每层的 token 表示中
核心思路：为行索引和列索引分别创建低秩嵌入 \(E_{row} \in \mathbb{R}^{R \times r}\) 和 \(E_{col} \in \mathbb{R}^{C \times r}\)，通过上投影矩阵扩展到隐藏维度后添加到 token 表示。与原始 LoRA 并行工作
设计动机：2D 位置信息量相对于 token 语义较少，用低秩编码足够且参数效率高

标准任务损失，与 LoRA 联合微调。2D LoRA 在每层与标准 LoRA 并行。

3 个模型（Llama-2-7B、Llama-3-8B、Qwen2-7B），4个数据集（HiTab、WikiTableQuestions、TabFact、SQA）。

方法	HiTab ↑	WTQ ↑	TabFact ↑
LoRA	38.5	55.2	72.8
TableLoRA	44.4 (+5.9)	57.1	74.5
全量微调	52.9	59.3	76.1