A Unifying View of Coverage in Linear Off-Policy Evaluation¶

会议: ICLR 2026
arXiv: 2601.19030
代码: 无
领域: 强化学习 / 离策略评估
关键词: 离策略评估, 覆盖性, 线性函数逼近, LSTDQ, 特征-动态覆盖

一句话总结¶

提出了一种新的覆盖性参数——特征-动态覆盖（feature-dynamics coverage），通过工具变量视角对经典算法 LSTDQ 进行新颖的有限样本分析，统一了线性离策略评估中各种不同覆盖性定义，解决了该领域长期存在的碎片化问题。

研究背景与动机¶

离策略评估（Off-Policy Evaluation, OPE）是强化学习中的基础问题：给定由行为策略（behavior policy）收集的数据，评估一个不同的目标策略（target policy）的价值。这在无法进行在线交互的场景（如医疗、推荐系统）中至关重要。

在线性 OPE 的经典设置中，有限样本保证通常采用如下形式：

\[\text{评估误差} \leq \text{poly}(C^\pi, d, 1/n, \log(1/\delta))\]

其中 \(d\) 是特征维度，\(n\) 是样本数，\(C^\pi\) 是覆盖性参数——描述数据分布对目标策略访问的特征空间的覆盖程度。

核心矛盾/碎片化问题：

在更强的假设下（如 Bellman 完备性），覆盖性参数的定义是清晰的，多种经典算法的保证也很好理解。但在最小假设设定（仅要求目标值函数线性可实现）下，情况变得非常混乱： - 对于"正确的"覆盖性概念没有共识 - 不同分析使用的覆盖性定义相互矛盾，性质也不理想（如不是分布无关的、不能恢复特殊情况下的标准定义） - 各种定义之间缺乏联系，导致理论理解碎片化

本文的目标：提出一个统一的覆盖性概念，在最小假设下给出紧的有限样本保证，并在更强假设下能优雅地退化为已知的标准覆盖性定义。

方法详解¶

整体框架¶

算法：分析的核心算法是 LSTDQ（Least-Squares Temporal Difference for Q-values），这是线性 OPE 中的经典算法
分析工具：工具变量（Instrumental Variable, IV）视角
核心贡献：提出 feature-dynamics coverage 并给出 LSTDQ 在此覆盖性下的新有限样本界

关键设计¶

工具变量视角：
- 核心思路：将 LSTDQ 算法重新解释为一个工具变量回归问题。在经济学和因果推断中，工具变量用于处理内生性问题——当回归变量与误差项相关时，通过引入一个与误差无关但与回归变量相关的"工具"来获得一致估计。
- 设计动机：线性 OPE 中，Bellman 方程的结构天然适合 IV 解释——当前状态-动作的特征是"内生变量"，而通过动态（transition dynamics）映射后的特征可以作为"工具"。
- 关键洞察：这个 IV 视角自然地引出了 feature-dynamics coverage 的定义。
特征-动态覆盖（Feature-Dynamics Coverage）：
- 定义：可以被解释为在一个由特征演化动态诱导的系统中的线性覆盖性度量
- 直观含义：衡量行为策略的数据分布对"特征在动态下的演化轨迹"的覆盖程度——不仅考虑当前特征的覆盖，还考虑经过环境转移后特征的覆盖
- 数学性质：满足自然的"好"性质——分布相关但形式自然，在特殊情况下可退化为标准定义
统一化结果：
- 在 Bellman 完备性假设下，feature-dynamics coverage 退化为 concentrability coefficient（集中系数），这是该设定下的标准覆盖性概念
- 在 tabular 设定下，恢复为经典的状态-动作访问比率
- 在一般线性可实化设定下，给出了比之前分析更紧的界
- 这是首次在统一框架下串联起所有这些看似不同的覆盖性定义

理论结果¶

主定理：给出 LSTDQ 在 feature-dynamics coverage \(C^\pi_{FD}\) 下的有限样本误差界：
- 评估误差随 \(C^\pi_{FD}\)、\(d\) 多项式增长，随 \(n\) 以 \(1/\sqrt{n}\) 速率下降
- 高概率界（依赖 \(\log(1/\delta)\)）
退化性质：在更强假设下，\(C^\pi_{FD}\) 可以被更小的覆盖性参数替代，恢复已知的最优速率
不可避免性论证：通过信息论工具论证了 \(C^\pi_{FD}\) 在最小假设设定下是不可避免的

实验关键数据¶

主实验¶

本文是理论贡献为主的工作，但包含了数值验证来支持理论结果。

设定	指标	主要发现
合成MDP（线性可实化）	MSE vs n	LSTDQ的误差符合理论预测的 \(1/\sqrt{n}\) 速率
合成MDP（Bellman完备）	MSE vs C^π	误差与 feature-dynamics coverage 的关系符合理论
不同覆盖度的数据分布	各定义的比较	feature-dynamics coverage 比之前定义更紧

消融实验¶

配置	关键指标	说明
Bellman完备 + feature-dynamics	误差界	退化为集中系数界，验证统一性
仅线性可实化 + 之前覆盖性定义	误差界	之前定义给出更松的界
仅线性可实化 + feature-dynamics	误差界	本文给出更紧的界
不同维度d	误差界	多项式依赖关系得到验证

关键发现¶

Feature-dynamics coverage 是比之前提出的各种覆盖性定义更自然、更紧的参数
在 Bellman 完备性假设下，它完美退化为已知的最优覆盖性参数
LSTDQ 算法在工具变量视角下有更清晰的统计学解释
之前分析中的一些"奇怪"的覆盖性定义（如依赖于特定算法的定义）是 feature-dynamics coverage 在特殊情况下的表现

亮点与洞察¶

理论统一的优雅性：长期以来，线性 OPE 中存在多种看似不兼容的覆盖性定义，本文通过一个统一的概念串联起来，是"拨开迷雾见月明"式的贡献
工具变量视角的新颖性：将强化学习的 OPE 问题与计量经济学的 IV 理论联系起来，开辟了新的分析工具
最小假设下的理解：在仅要求线性可实化的最小假设下给出了紧的分析，此前这个设定下的理解非常有限
概念性贡献：feature-dynamics coverage 的"诱导动态系统"解释非常有启发性——它暗示了 OPE 的难度不仅取决于数据分布，还取决于环境动态如何"放大"覆盖的不足

局限与展望¶

纯理论工作：缺少在真实 RL 任务上的实验验证
集中于线性设定：现代 RL 更多使用非线性函数逼近（如神经网络），理论框架能否扩展需要进一步研究
关注 OPE 而非 OPL：离策略评估（evaluation）与离策略学习（learning）在技术上有本质区别，本文的覆盖性概念是否适用于后者
计算可行性：feature-dynamics coverage 在实际中是否可以高效估计？如果不能，理论保证的实际指导意义会打折扣
单策略评估：能否扩展到多策略同时评估或策略优化场景

评分¶

新颖性: ⭐⭐⭐⭐⭐
实验充分度: ⭐⭐⭐
写作质量: ⭐⭐⭐⭐
价值: ⭐⭐⭐⭐