🔍 信息检索/RAG¶
💬 ACL2025 · 84 篇论文解读
- A Reality Check on Context Utilisation for Retrieval-Augmented Generation
-
提出DRUID真实世界事实验证数据集和ACU评估指标,揭示合成数据集(CounterFact、ConflictQA)夸大了上下文特征的影响,导致对LLM上下文利用能力的过度乐观评估,呼吁使用真实检索数据研究RAG。
- A Text is Worth Several Tokens: Text Embedding from LLMs Secretly Aligns Well with The Key Tokens
-
揭示 LLM 文本嵌入的有趣现象:将嵌入向量通过解码层映射回词表空间后,解码概率最高的 token 与输入文本的关键词高度对齐;进一步通过谱分析发现这一现象主要受第一主成分控制,并据此提出一种简洁的稀疏检索方法,达到原密集检索 80%+ 的效果。
- Accelerating Adaptive Retrieval Augmented Generation via Instruction-Driven Representation Reduction of Retrieval Overlaps
-
提出 IDR²,一种模型无关的自适应RAG加速框架,通过消除多轮检索间重叠文档的冗余表示并利用检索内容指导并行解码,实现端到端约2倍加速且不损失生成质量。
- AIR-Bench: Automated Heterogeneous Information Retrieval Benchmark
-
提出AIR-Bench——首个利用LLM自动生成测试数据的异构IR基准,覆盖2个任务(QA/长文档)、9个领域、13种语言共69个数据集,三阶段质量控制管线确保生成数据与人工标注高度一致,解决了传统IR基准领域覆盖有限和更新成本高的问题。
- Any Information Is Just Worth One Single Screenshot: Unifying Search With Visualized Information Retrieval
-
本文正式定义了可视化信息检索(Vis-IR)范式——将多模态信息统一渲染为截图(Screenshot)进行检索,构建了包含1300万截图的VIRA数据集、UniSE检索模型家族和MVRB基准测试,为统一搜索引擎奠定基础。
- Are LLMs Effective Psychological Assessors? Leveraging Adaptive RAG for Interpretable Mental Health Screening through Psychometric Practice
-
本文提出了一种基于问卷引导的心理健康筛查框架,通过自适应RAG从用户Reddit帖子中检索相关内容,再用LLM代为填写标准化心理量表(如BDI-II),在无需训练数据的情况下匹配或超越有监督方法的性能,同时提供了临床可解释的评估结果。
- Atomic LLM: A Fine-Grained Information Retrieval Evaluation Benchmark for Language Models
-
本文提出Atomic LLM基准,通过将信息检索评估分解为原子级别(Atomic Level)的事实检索任务,从事实精确性、来源归因、粒度覆盖等多个维度对LLM的信息检索能力进行细粒度评估,揭示了现有LLM在精确事实提取方面的系统性不足。
- Automatic Benchmark Generation from Scientific Papers via Retrieval-Augmented LLMs
-
本文提出一种基于检索增强LLM的自动基准生成方法,从科学论文中自动抽取可测试的知识点并生成高质量的评估题目,在NLP、机器学习、生物信息学等领域验证了方法的有效性,为领域特定LLM评估基准的快速构建提供了新范式。
- Beyond True or False: Retrieval-Augmented Hierarchical Analysis of Nuanced Claims
-
提出 ClaimSpect 框架,将复杂声明自动分解为层次化的方面(aspect)树,并通过区分性检索从语料库中发现各方面的支持/中立/反对观点及其共识程度。
CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling
- CoIR: A Comprehensive Benchmark for Code Information Retrieval Models
-
提出 CoIR,首个全面的代码信息检索基准,包含 10 个数据集、覆盖 4 大类 8 个子任务和 14 种编程语言,揭示了即使是 SOTA 检索模型在代码检索中也表现不佳,并指出许多模型已在现有排行榜上过拟合。
- Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence
-
本文首次系统研究稠密检索器中多种启发式偏见(简短偏见、前置偏见、字面偏见、重复偏见)的个体和组合效应,发现当多种偏见叠加时,检索器选择包含答案的文档的概率低于10%,且这些偏见可被利用来操纵RAG系统,导致34%的性能下降。
- ComRAG: Retrieval-Augmented Generation with Dynamic Vector Stores for Real-time Community Question Answering in Industry
-
提出ComRAG——一个面向工业实时社区问答的检索增强生成框架,通过静态知识向量库+高/低质量动态QA向量库的三库架构和质心记忆机制,在三个CQA数据集上获得向量相似度最高25.9%的提升,同时降低延迟8.7%-23.3%。
- CoRe-MMRAG: Cross-Source Knowledge Reconciliation for Multimodal RAG
-
CoRe-MMRAG 提出了一个端到端多模态 RAG 框架,通过四阶段流水线(参数知识生成→视觉-文本联合重排序→外部知识生成→内外知识整合)解决参数知识-检索知识不一致(PRKI)和视觉-文本知识不一致(VTKI)两个问题,在 InfoSeek 和 Encyclopedic-VQA 上分别提升 5.6% 和 9.3%。
- Cross-Lingual Relevance Transfer for Document Retrieval
-
本文提出一种跨语言相关性迁移方法,通过在高资源语言(如英语)上训练的检索模型将相关性判断能力迁移到低资源语言,在多个跨语言文档检索基准上显著超越现有方法。
- Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG
-
DTA 提出将 RAG 查询按参数知识边界和检索知识边界划分为四个象限,对"两者都不知道"的查询构造偏好数据用 DPO 训练模型回答"我不知道",解决了 RAFT 模型即使在检索完全噪声时也强行生成答案的问题,在准确率和适当弃权之间实现了有效平衡。
- Don't Reinvent the Wheel: Efficient Instruction-Following Text Embedding based on Guided Space Transformation
-
提出 GSTransform 框架,通过轻量级空间变换将预计算的通用嵌入实时适配到用户指令指定的语义空间,避免每次新指令都重新编码全部语料,在 9 个数据集上平均得分 66.01(SOTA 基线 55.31),同时实现 6~300 倍实时加速。
- DRAG: Distilling RAG for SLMs from LLMs to Transfer Knowledge and Mitigate Hallucination
-
DRAG 提出了一种从大模型向小模型蒸馏 RAG 能力的框架:用大模型(如 GPT-4o)为给定问题生成证据和知识图谱三元组,经排序过滤后作为结构化上下文输入给小模型(2B-9B),无需微调即可将小模型在 ARC-C 上提升高达 27.7%,同时显著减少幻觉。
- Drama: Diverse Augmentation from Large Language Models to Smaller Dense Retrievers
-
提出 Drama 框架,系统性地探索多种基于 LLM 的数据增强策略(裁剪句+合成查询+LLM 重排序偏好)与 LLM 剪枝 backbone 的结合,在单阶段对比学习中训练出 0.1B-1B 参数的小型检索器,在 BEIR 上以 0.3B 参数匹配 1B 参数的 Gecko,且具备强多语言和长上下文能力。
- Empaths at SemEval-2025 Task 11: Retrieval-Augmented Approach to Perceived Emotions Prediction
-
提出 EmoRAG 系统,用检索增强生成(RAG)管道结合多 LLM 集成聚合,在 SemEval-2025 Task 11 多标签情感检测任务上无需额外训练即在 28 种语言中取得有竞争力的结果,平均 F1-micro 0.638。
- Enhancing Lexicon-Based Text Embeddings with Large Language Models
-
提出 LENS 框架,首次将 LLM 用于通用词汇级文本嵌入(lexicon-based embedding),通过 token 嵌入聚类解决 LLM 词表冗余问题、引入双向注意力克服因果 LLM 的限制,在 MTEB 上超越同数据训练的稠密嵌入,且与稠密嵌入结合后在 BEIR 上达到 SOTA。
- Evaluation of Attribution Bias in Generator-Aware Retrieval-Augmented Large Language Models
-
定义并研究 RAG 中 LLM 对作者身份信息的归因敏感性和偏差,通过反事实评估发现告知 LLM 文档作者身份可显著改变归因质量 3-18%,且 LLM 存在对人类作者身份的归因偏差。
- EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation
-
提出 EXIT——一种抽取式上下文压缩框架,通过上下文感知的句子级二分类并行选取与查询相关的句子,在 QA 准确率和推理延迟上同时优于现有的抽生式和抽取式压缩方法。
- FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation
-
发现现有忠实 RAG 方法通过强制抑制参数知识来实现上下文忠实,但这增加了误解上下文的风险(不忠实错误减少 6.65% 的同时错误匹配增加 6.42%)。提出 FaithfulRAG,通过事实级冲突识别(自事实挖掘)和冲突推理(自思考模块)解决知识冲突,在 FaithEval/SQuAD/MuSiQue/RealtimeQA 上超越最强基线 8-9 个百分点。
- FlashBack: Efficient Retrieval-Augmented Language Modeling for Fast Inference
-
针对检索增强语言模型(RALM)中因检索内容前置(prepending)导致 KV cache 反复重算的推理效率问题,提出 FlashBack,将检索内容后置(appending)以保留输入的 KV cache,并用 Marking Token + LoRA 微调适配新的上下文模式,在 Llama 2-7B 上实现最高 4 倍推理加速且 perplexity 持平。
- FlexRAG: A Flexible and Comprehensive Framework for Retrieval-Augmented Generation
-
提出 FlexRAG,一个面向研究和原型开发的开源 RAG 框架,支持文本、多模态和 Web 检索三种模式,通过内存映射和异步处理实现比同类框架(FlashRAG)低一个数量级的资源开销。
- From Ambiguity to Accuracy: The Transformative Effect of Coreference Resolution on RAG Systems
-
本文系统研究了共指消解(coreference resolution)对 RAG 系统中文档检索和问答生成两阶段的影响,发现共指消解能一致性提升检索性能(尤其 mean pooling 模型受益最大),在 QA 任务中小模型的性能提升显著大于大模型,甚至使小模型达到大模型的基线水平。
- GainRAG: Preference Alignment in Retrieval-Augmented Generation through Gain Signal Synthesis
-
发现 RAG 中检索器优化的"相关性"与 LLM 实际需要的"增益"存在系统性偏差——含正确答案的段落仍有近 50% 概率导致错误生成,而间接相关段落反而更有效。提出 GainRAG,通过对比解码困惑度定义"增益"信号,训练轻量选择器在检索器和 LLM 之间做增益导向的段落筛选,在 6 个 QA 数据集上全面超越 Standard RAG 和 Rerank 基线。
- GaRAGe: A Benchmark with Grounding Annotations for RAG Evaluation
-
GaRAGe 是一个包含 2366 个问题和超过 35K 条人工标注 grounding 段落的 RAG 基准,通过细粒度的 grounding 相关性标注,系统评估 LLM 在 RAG 场景下识别相关信息、拒绝回答和归因引用的能力。
- Controllable and Reliable Knowledge-Intensive Task-Oriented Conversational Agents with Declarative Genie Worksheets
-
Genie 提出了一个可编程的知识密集型任务导向对话框架,通过声明式 Worksheet 规范定义 Agent 策略,将 LLM 限制在语义解析和回复生成两个角色,由算法化运行时系统强制执行策略,实现从 21.8% 到 82.8% 的真实任务完成率提升。
- Graph of Records: Boosting Retrieval Augmented Generation for Long-context Summarization with Graphs
-
提出 Graph of Records(GoR),将 LLM 历史响应与检索文本块构建为图结构,用 GNN 学习节点间的语义和逻辑关联,配合 BERTScore 自监督训练目标,在四个长文本全局摘要数据集上比检索基线提升 8-19%(ROUGE 指标)。
- GRAF: Graph Retrieval Augmented by Facts for Romanian Legal Multi-Choice Question Answering
-
提出GRAF算法,结合法律知识图谱(Law-RoG)和图注意力网络进行罗马尼亚语法律多选题问答,同时开源了首个罗马尼亚语法律MCQA数据集JuRO(10,836题)和法律语料库CROL。
- Gumbel Reranking: Differentiable End-to-End Reranker Optimization
-
将 RAG 系统中的重排序过程重新建模为文档级 Top-k 注意力掩码问题,利用 Gumbel 技巧和松弛 Top-k 采样实现端到端可微优化,直接最小化最终语言建模损失,在 HotpotQA 上 Recall@5 提升 10.4%。
- Health-LLM: Personalized Retrieval-Augmented Disease Prediction System
-
提出 Health-LLM 框架,通过 LLM + Llama Index 从健康报告中提取特征评分、RAG 增强医学知识检索、CAAFE 自动特征工程结合 XGBoost 分类器,在 IMCS-21 中文远程医疗数据集上实现 Accuracy 0.833、F1 0.762 的疾病预测性能,大幅超越 GPT-4 few-shot+RAG (Acc 0.68) 和 fine-tuned LLaMA-2-13B (Acc 0.73)。
- HELIOS: Harmonizing Early Fusion, Late Fusion, and LLM Reasoning for Multi-Granular Table-Text Retrieval
-
提出 HELIOS 三阶段图检索框架(边级早期融合 → 节点级晚期融合 → 星图级 LLM 精化),通过多粒度协调统一解决表格-文本检索中的检索单元粒度、查询依赖关系发现和高级推理三大挑战,在 OTT-QA 上实现 42.6% Answer Recall 提升。
- Hierarchical Document Refinement for Long-context Retrieval-augmented Generation
-
提出 LongRefiner,一个即插即用的长文档精炼系统,通过双层查询分析、层次化文档结构化和自适应精炼三个步骤,在 7 个 QA 数据集上以仅 1/10 的 token 预算实现了优于全文输入的性能,同时延迟仅为最佳基线的 1/10。
- HoH: A Dynamic Benchmark for Evaluating the Impact of Outdated Information on Retrieval-Augmented Generation
-
本文提出 HoH,首个专门评估过时信息对 RAG 系统影响的大规模动态基准,包含 96,124 个 QA 对和 219,463 篇文档,揭示了过时信息对 RAG 性能和安全性的严重危害。
- HybGRAG: Hybrid Retrieval-Augmented Generation on Textual and Relational Knowledge Bases
-
提出 HybGRAG 方法,通过检索器库(Retriever Bank)同时利用文本和关系信息,配合 Critic 模块的自反思迭代纠正问题路由错误,在半结构化知识库上的混合问答任务中 Hit@1 平均提升 51%。
- Hypothetical Documents or Knowledge Leakage? Rethinking LLM-based Query Expansion
-
质疑 LLM-based 查询扩展(HyDE/Query2doc)的性能提升是否来自"假设性文档生成",发现性能增益仅在 LLM 生成的文档包含与 gold evidence 语义一致的句子时才一致出现,揭示了 benchmark 中可能存在的知识泄露问题。
- Investigating Language Preference of Multilingual RAG Systems
-
系统研究多语言 RAG 系统在检索和生成两个阶段的语言偏好问题,提出 MLRS 指标量化检索器对特定语言的偏好程度,揭示检索器偏好高资源语言和查询语言、生成器偏好查询语言和拉丁字母语言的现象,并设计 DKM-RAG 框架通过融合翻译段落与模型内部知识有效缓解偏好问题。
- Investigating the Robustness of Retrieval-Augmented Generation at the Query Level
-
提出首个查询级 RAG 鲁棒性模块化分析框架,通过 5 种扰动类型 × 4 种检索器 × 3 种 LLM × 3 个数据集共 1092+ 实验,揭示 dense 与 sparse 检索器对不同扰动类型的互补鲁棒性,并给出可操作的工程建议。
- KnowShiftQA: How Robust are RAG Systems when Textbook Knowledge Shifts in K-12 Education?
-
构建了 KnowShiftQA 数据集(3,005 道题,覆盖 5 个学科),通过假设性知识更新模拟教科书与 LLM 参数知识的差异,系统评估 RAG 系统面对知识偏移时的鲁棒性,发现现有 RAG 系统在知识偏移下性能下降 22-27%。
- LDIR: Low-Dimensional Dense and Interpretable Text Embeddings with Relative Representations
-
提出 LDIR 方法,通过最远点采样选取锚文本(anchor texts),计算待编码文本与各锚文本的语义相关度,构建低维(≤500 维)、稠密且可解释的文本嵌入,性能接近黑盒模型并显著优于已有可解释嵌入方法。
- Are LLMs Effective Psychological Assessors? Leveraging Adaptive RAG for Interpretable Mental Health Screening
-
本文提出基于自适应RAG的心理问卷引导筛查框架,通过检索用户Reddit帖子并让LLM代替用户填写标准化心理问卷(BDI-II等),在无需训练数据的情况下匹配或超越SOTA监督方法的抑郁筛查性能,并扩展到其他心理健康状况。
- Re-ranking Using Large Language Models for Mitigating Exposure to Harmful Content on Social Media Platforms
-
提出基于 LLM 的成对偏好重排序方法,在零样本和少样本设置下对社交媒体推荐序列中的有害内容进行降级排序,显著优于 Perspective API 和 OpenAI Moderation API 等工业级分类器,同时引入 PP-k 和 EWN 两个新评估指标。
- Logical Consistency is Vital: Neural-Symbolic Information Retrieval for Negative-Constraint Queries
-
提出 NS-IR,通过将自然语言查询和文档转换为一阶逻辑(FOL),利用逻辑对齐和连接词约束两项技术优化稠密检索嵌入,显著提升了负约束查询等复杂逻辑检索场景的性能。
- MAIN-RAG: Multi-Agent Filtering Retrieval-Augmented Generation
-
提出 MAIN-RAG,一个无需训练的多 Agent RAG 过滤框架,通过 Predictor→Judge→Final-Predictor 三个 LLM Agent 协作评估检索文档的相关性,并设计自适应阈值(基于分数均值和标准差)动态过滤噪声文档,在 4 个 QA 基准上实现 2-11% 的准确率提升。
- Maximal Matching Matters: Preventing Representation Collapse for Robust Cross-Modal Retrieval
-
提出 MaxMatch 方法,通过基于匈牙利算法的最大配对相似度和两个新损失函数,解决集合嵌入方法中的稀疏监督和集合坍塌问题,在 MS-COCO 和 Flickr30k 上取得 SOTA 性能。
- MEMERAG: A Multilingual End-to-End Meta-Evaluation Benchmark for Retrieval Augmented Generation
-
构建首个原生多语言 RAG 元评估基准 MEMERAG,覆盖 5 种语言,通过流程图引导的标注达到高标注者一致性,用于评估和比较多语言 RAG 自动评估器。
- Mitigating Lost-in-Retrieval Problems in RAG Multi-Hop QA
-
本文识别 RAG 多跳问答中的"检索丢失"(lost-in-retrieval)问题——子问题分解后后续子问题因缺少关键实体导致检索性能骤降,提出 ChainRAG 框架通过构建句子图 + 渐进式检索 + 子问题重写(补全缺失实体)形成完整推理链,在 MuSiQue、2Wiki、HotpotQA 三个数据集上一致超越基线。
- MoC: Mixtures of Text Chunking Learners for Retrieval-Augmented Generation System
-
提出 Boundary Clarity 和 Chunk Stickiness 两个直接量化分块质量的指标,以及基于粒度感知混合专家(MoC)的文本分块框架,通过正则表达式引导的轻量化分块策略在 RAG 系统中取得优于传统方法和大模型直接分块的性能。
- MT-RAIG: Novel Benchmark and Evaluation Framework for Retrieval-Augmented Insight Generation over Multiple Tables
-
提出MT-RAIG Bench——首个面向多表格检索增强洞察生成的大规模基准,以及MT-RAIG Eval——基于分解的细粒度自动评估框架,实验表明即使前沿LLM在多表格推理上仍表现不佳(忠实度仅约40%,完整度约60%)。
- Multilingual Retrieval Augmented Generation for Culturally-Sensitive Tasks: A Benchmark for Cross-lingual Robustness
-
构建了 BordIRLines 基准数据集,包含 49 种语言的领土争端查询及配对的 Wikipedia 检索文档,系统评估了多语言 RAG 环境下的跨语言鲁棒性,发现检索多语言文档能比仅检索同语言文档更好地提高响应一致性并减少地缘政治偏差。
- On Synthetic Data Strategies for Domain-Specific Generative Retrieval
-
本文系统研究了针对领域特定语料库训练生成式检索模型的合成数据策略,提出多粒度查询生成、约束条件查询和基于硬负样本的偏好学习方法,显著提升检索性能。
- Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval
-
针对低资源、形态丰富的阿姆哈拉语(Amharic),提出基于预训练 Amharic BERT/RoBERTa 的稠密检索模型和 ColBERT 晚期交互模型,在参数量远小于多语言基线的情况下大幅提升段落检索效果,并建立了该语言首个系统性检索基准。
- Pandora's Box or Aladdin's Lamp: A Comprehensive Analysis Revealing the Role of RAG Noise in Large Language Models
-
本文从语言学视角定义了 RAG 系统中的 7 种噪声类型,构建了 NoiserBench 综合评测框架,通过 8 个 LLM 的大规模实验发现噪声可分为有害噪声(反事实、支持性、拼写)和有益噪声(语义、数据类型、非法句子),其中有益噪声反而能提升模型准确率 1-3%。
- Parenting: Optimizing Knowledge Selection of Retrieval-Augmented Language Models with Parameter Decoupling and Tailored Tuning
-
受人脑功能分区启发,提出 Parenting 框架,通过解耦并定位 LLM 参数空间中与"上下文遵循"(adherence)和"噪声鲁棒"(robustness)相关的子空间,并为不同子空间设计定制化微调策略,实现两种能力的平衡提升。
- PRISM: A Framework for Producing Interpretable Political Bias Embeddings with Political-Aware Cross-Encoder
-
提出 PRISM 框架,首次将政治偏见嵌入建模为可解释任务:自动从弱标注新闻语料中挖掘争议性话题及左/右偏见指标作为嵌入维度,再用政治感知交叉编码器为文章在每个话题维度上打分,生成稀疏且语义透明的政治偏见嵌入向量,在 NewsSpectrum 分类准确率达 86.1%(领先 POLITICS 34.8%),同时支持多样化检索。
- Uncovering Visual-Semantic Psycholinguistic Properties from the Distributional Structure of Text Embedding Space
-
提出Neighborhood Stability Measure (NSM)——一种无监督、无分布假设的方法,通过量化文本嵌入空间中邻域的稳定性来估计词语的可意象性(imageability)和具体性(concreteness),仅使用文本模态即可超越依赖多模态或生成模型的已有方法。
- RAEmoLLM: Retrieval Augmented LLMs for Cross-Domain Misinformation Detection Using In-Context Learning Based on Emotional Information
-
提出 RAEmoLLM,首个基于情感信息检索的 RAG 框架,利用情感 LLM 的隐式嵌入构建检索数据库,为跨域虚假信息检测提供情感相关的 few-shot 示例,在三个基准上最高分别提升 15.64%、31.18% 和 15.73%(对比其他 few-shot 方法),无需微调。
- RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework
-
RAGEval 提出了一个基于 schema 的自动化评估数据集生成框架,能够针对不同垂直领域(金融、法律、医疗等)自动生成高质量的文档-问题-答案-参考四元组,并引入完整性(Completeness)、幻觉(Hallucination)和无关性(Irrelevance)三个新评估指标来严格评估 RAG 系统的事实准确性。
- RARE: Retrieval-Augmented Reasoning Enhancement for Large Language Models
-
提出 RARE,在 rStar 的 MCTS 推理框架中引入两个检索增强动作(A6: 基于原始问题生成搜索查询并检索,A7: 对子问题进行检索并重新回答),并用检索增强的事实性评分器(RAFS)替代原始判别器,使 LLaMA 3.1 在医学和常识推理任务上达到甚至超越 GPT-4o 的水平。
- Redundancy, Isotropy and Intrinsic Dimensionality of Prompt-Based Text Embeddings
-
系统研究了基于Prompt的文本嵌入模型(如gte-Qwen2、E5-mistral等)在后处理降维下的性能鲁棒性,发现分类/聚类任务仅保留原始维度的0.5%即可基本保持性能,并通过内在维度(ID)和各向同性(IsoScore)两个指标定量解释了不同任务Prompt产生的嵌入冗余度差异。
- REFIND at SemEval-2025 Task 3: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models
-
提出 REFIND 框架,通过计算每个 token 在有无检索文档条件下的生成概率之比(Context Sensitivity Ratio, CSR),实现对 LLM 输出中幻觉片段的高效检测,在 SemEval-2025 Task 3 的 9 种语言上显著超越基线。
- Removal of Hallucination on Hallucination: Debate-Augmented RAG
-
DRAG(Debate-Augmented RAG)提出在RAG系统的检索和生成两个阶段均引入多智能体辩论(MAD)机制,通过正反方辩论+裁判仲裁的结构化流程,消除因错误检索导致的"幻觉传递幻觉"问题,在6个QA基准上显著提升事实准确性。
- Reranking-based Generation for Unbiased Perspective Summarization
-
针对政治视角摘要任务,构建了受控测试集验证现有评估指标的可靠性,发现 LLM-based 指标远优于传统指标,并证明基于重排序(Reranking)的方法及在重排序数据上的 DPO 训练能显著提升摘要的覆盖性和忠实性。
- SafeRAG: Benchmarking Security in Retrieval-Augmented Generation of Large Language Model
-
提出首个中文 RAG 安全评估基准 SafeRAG,设计四种能绕过现有检索器、过滤器和生成器防御的新型攻击任务(银噪声、上下文间冲突、软广告、白色拒绝服务),在 14 种 RAG 组件上系统评估安全漏洞,揭示即使最先进的 RAG 系统也对这些攻击高度脆弱。
- SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation
-
SeaKR 利用 LLM 内部隐藏层的自感知不确定性(通过多次采样 EOS token 隐藏表示的 Gram 行列式度量)来自适应地决定何时检索、如何重排检索结果、以及选择何种推理策略,在复合 QA 上 F1 比 DRAGIN 提升 6%,比 IRCoT 提升 9.5%。
- SEAL: Scaling to Emphasize Attention for Long-Context Retrieval
-
SEAL 通过发现特定注意力头/通道对长上下文检索有正/负影响的现象,设计了头级和通道级可学习缩放因子,仅用50个合成样本微调即可大幅提升LLM长上下文检索性能,且缩放因子可离线合并至模型权重实现零推理开销。
- Semantic Outlier Removal with Embedding Models and LLMs
-
提出 SORE(Semantic Outlier Removal),一种基于多语言句子嵌入和近似近邻搜索的文本清洗方法,通过元数据嵌入识别核心内容,并标记与预定义离群类别匹配或严重偏离核心内容的文本片段,在接近 LLM 水平的精度下实现了极低的计算成本,已在生产环境中每天处理数百万文档。
- SetR: Shifting from Ranking to Set Selection for Retrieval Augmented Generation
-
提出 SetR,将 RAG 中的文档排序范式转变为集合选择范式,通过 CoT 推理识别查询的信息需求并选择最优文档集合,在使用更少文档(平均 2.91 个 vs 5 个)的同时显著提升多跳问答性能。
- SGIC: A Self-Guided Iterative Calibration Framework for RAG
-
SGIC 利用 LLM 的 token 级不确定性分数(文档相关性不确定性 + 答案置信度不确定性)作为自校准的引导信号,通过迭代将前一轮答案及其不确定性分数注入提示中触发上下文推理,在 HotpotQA 上将 Llama2-7B 的 EM 从 69.1% 提升到 77.2%(+8.1%),对 GPT-4o 也有 2.8% 的提升。
- Sticking to the Mean: Detecting Sticky Tokens in Text Embedding Models
-
本文系统研究了文本嵌入模型中的"粘性token"现象——某些异常token被反复插入句子后会将句子相似度拉向固定值,提出了高效检测方法 STD 并在 14 个模型家族的 40 个检查点中发现 868 个粘性token,揭示了高达 50% 的下游任务性能下降。
- The Distracting Effect: Understanding Irrelevant Passages in RAG
-
本文提出了一个形式化的段落干扰效应(Distracting Effect)度量方法,并开发了多种获取高干扰段落的技术(包括偏斜检索和分类合成),证明了该度量跨LLM的鲁棒性,最终通过用高干扰段落微调LLM,在问答准确率上实现了最高7.5%的提升。
- Toward Structured Knowledge Reasoning: Contrastive Retrieval-Augmented Generation on Experience
-
本文提出 CoRE 框架,通过蒙特卡洛树搜索(MCTS)构建包含成功和失败经验的记忆库,并在推理时通过对比式上下文学习(Contrastive ICL)检索正负样例来增强 LLM 对结构化数据(表格、数据库)的推理能力,在 Text-to-SQL 和 TableQA 上分别平均提升 3.44% 和 4.24%。
- Towards Adaptive Memory-Based Optimization for Enhanced Retrieval-Augmented Generation
-
提出 Amber 框架,通过 Agent 协作式记忆更新器、自适应信息收集器和多粒度内容过滤器三个组件协同工作,在迭代式 RAG 范式中提升开放域问答的检索效率和答案质量。
- Towards Storage-Efficient Visual Document Retrieval: An Empirical Study on Reducing Patch-Level Embeddings
-
系统性研究了视觉文档检索(VDR)中 patch 级别嵌入的压缩策略,发现 pruning 在 VDR 中本质不适用(简单随机剪枝反而最优),而 token merging 结合微调可在仅保留 2.8% 存储量时维持 94.6% 的检索性能(Light-ColPali/ColQwen2)。
- Typed-RAG: Type-Aware Decomposition of Non-Factoid Questions for Retrieval-Augmented Generation
-
提出 Typed-RAG 框架,通过对非事实性问题(NFQ)进行类型感知的分解,将复杂的多方面问题拆解为单方面子查询,针对不同问题类型(辩论、经验、比较等)设计差异化的检索与生成策略,显著提升了 RAG 在 NFQA 中的表现。
- Unanswerability Evaluation for Retrieval Augmented Generation
-
UAEval4RAG 提出了一个针对 RAG 系统处理不可回答查询的全面评估框架,定义了六类不可回答类别,能够基于任意知识库自动合成测试数据并评估系统的拒绝能力,实验揭示没有单一配置能在所有数据集上同时最优化可回答和不可回答查询的表现。
- Any Information Is Just Worth One Single Screenshot: Unifying Search With Visualized Information Retrieval
-
本文定义了可视化信息检索(Vis-IR)新范式,将多模态信息统一表示为截图(Screenshot)进行检索,贡献了大规模数据集 VIRA(1300万截图)、通用检索模型 UniSE 和综合基准 MVRB。
- VISA: Retrieval Augmented Generation with Visual Source Attribution
-
VISA 提出了一种基于视觉来源归因的 RAG 方法,利用大型视觉语言模型(VLM)在检索到的文档截图中用 bounding box 高亮支持生成答案的精确区域,并构建了 Wiki-VISA 和 Paper-VISA 两个数据集验证其有效性。
- VoxRAG: A Step Toward Transcription-Free RAG Systems in Spoken Question Answering
-
提出 VoxRAG,一个模块化的语音到语音检索增强生成系统,使用 CLAP 音频嵌入绕过转录直接从语音查询检索语义相关的音频片段,在播客问答场景中验证了无转录语音检索的可行性,Recall@10 在 somewhat relevant 片段上达到 0.60。
- When Claims Evolve: Evaluating and Enhancing the Robustness of Embedding Models Against Misinformation Edits
-
提出一个扰动框架来系统评估句子嵌入模型在处理经过编辑的虚假信息声明时的鲁棒性,发现标准嵌入模型性能显著下降,并通过知识蒸馏和声明规范化两种缓解方法将领域内鲁棒性提升最高 17 个百分点、跨域泛化提升 10 个百分点。
- When Should Dense Retrievers Be Updated in Evolving Corpora? Detecting Out-of-Distribution Corpora Using GradNormIR
-
提出GradNormIR方法,利用梯度范数在无需查询的情况下无监督检测语料库是否对dense retriever构成分布外(OOD),从而判断何时需要更新检索器,保障动态语料库场景下的检索鲁棒性。