iTimER: Reconstruction Error-Guided Irregularly Sampled Time Series Representation Learning¶

会议: AAAI 2026
arXiv: 2511.06854
代码: 无
领域: 时间序列 / 自监督学习
关键词: 不规则采样时序, 重建误差, 自监督预训练, Wasserstein对齐, 伪观测

一句话总结¶

提出 iTimER，利用模型自身的重建误差分布作为学习信号——从观测点估计误差分布后采样生成未观测时刻的伪观测值，通过 Wasserstein 距离对齐观测/伪观测区域的误差分布 + 对比学习，在不规则采样时序的分类、插值、预测任务上全面超越 SOTA。

研究背景与动机¶

领域现状：不规则采样时间序列（ISTS）在医疗、气象等领域普遍存在——变量间采样不同步、时间间隔不均匀、存在大量自然缺失。现有方法要么先填补再学习，要么端到端建模。
现有痛点：（a）填补法在高缺失率下不可靠，可能引入噪声偏差；（b）端到端方法只从观测值获取学习信号，模型在未观测区域不受约束；（c）自监督掩码重建方法将重建误差仅作为损失项，忽视了其中蕴含的不确定性信息。
核心矛盾：未观测时刻没有真实值，无法直接监督——但模型的重建误差本身编码了模型对数据结构的理解，可作为代理信号。
切入角度：重建误差不仅是损失，更是反映模型不确定性和归纳偏好的信息源。将其分布传播到未观测区域生成伪观测值。
核心 idea 一句话：从观测点的重建误差分布采样，与最近观测值 mixup 生成伪观测，用 Wasserstein 距离确保观测/伪观测误差分布一致。

方法详解¶

整体框架¶

编码器-解码器自监督预训练： 1. 重建观测值 → 估计重建误差的高斯分布 \(\mathcal{N}(\mu_\epsilon, \sigma_\epsilon^2)\) 2. 从误差分布采样 + 与最近观测 mixup → 生成未观测时刻的伪观测 3. 对伪观测序列也做编码-重建 → Wasserstein 对齐两边误差分布 4. 对比学习增强表示判别性

关键设计¶

重建误差分布建模与伪观测生成:
做什么：将重建误差从"要最小化的损失"转化为"可利用的学习信号"
核心思路：对观测点 \(m_t=1\) 计算 \(\epsilon_t = x_t - \hat{x}_t\)，假设高斯分布估计 \(\mu_\epsilon, \sigma_\epsilon\)（动量更新 \(\rho\)）。对未观测点 \(m_t=0\)：\(\tilde{x}_t = \alpha_t \cdot \bar{x} + (1-\alpha_t) \cdot \tilde{\epsilon}_t\)，其中 \(\tilde{\epsilon}_t \sim \mathcal{N}(\mu_\epsilon^h, (\sigma_\epsilon^h)^2)\)
设计动机：伪观测既保留了时间连续性（通过最近观测值 mixup），又包含了噪声感知的不确定性信息（通过误差采样），比简单填补或随机噪声更合理
Wasserstein 误差分布对齐:
做什么：确保模型在观测和伪观测区域的行为一致
核心思路：\(L_W = \|\mu_\epsilon - \mu_p\|^2 + \|\sigma_\epsilon - \sigma_p\|^2\)（2-Wasserstein 距离在高斯下的闭式解）
设计动机：如果模型在伪观测区域的重建误差分布与观测区域相似，说明伪观测没有引入结构性偏差
对比学习 + 双重建损失:
做什么：增强表示的判别性和鲁棒性
总损失 \(L = \alpha L_W + \beta L_{contrast} + \frac{1}{2}(L_{orig\_rec} + L_{pseudo\_rec})\)

实验关键数据¶

主实验¶

分类任务（P12、P19 医疗数据集、PAM 活动识别）：

方法	P12 AUROC	P19 AUROC	PAM Accuracy
Warpformer	83.4	88.8	94.3
mTAND	84.2	84.4	92.9
Raindrop	82.8	87.0	88.5
iTimER	85.1+	89.2+	95.0+

在插值和预测任务上同样全面领先。

关键发现¶

重建误差作为学习信号的有效性：去掉伪观测生成后性能明显下降
Wasserstein 对齐是关键：确保伪观测不引入分布偏差
任务无关预训练：同一预训练模型可用于分类/插值/预测三种下游任务

亮点与洞察¶

"重建误差即信号"的洞察非常深刻：从自身的不完美中提取有用信息，这个思路可迁移到任何自监督学习场景
Mixup 生成伪观测比直接填补或加噪声更有物理合理性
Wasserstein 基于高斯闭式解计算高效

局限性 / 可改进方向¶

高斯假设可能不适用于所有误差分布
仅用最近观测值作为 anchor，对长间隔缺失可能不够

评分¶

新颖性: ⭐⭐⭐⭐⭐ 重建误差作为学习信号的核心洞察非常新颖
实验充分度: ⭐⭐⭐⭐ 三类任务、多数据集验证
写作质量: ⭐⭐⭐⭐ 框架图清晰，动机推导有说服力
价值: ⭐⭐⭐⭐ 为不规则时序表示学习提供了新范式