Feature-aware Modulation for Learning from Temporal Tabular Data¶
会议: NeurIPS 2025
arXiv: 2512.03678
代码: 待确认
领域: 表格学习 / 时序分布漂移
关键词: 时间分布漂移, 表格数据, 特征语义对齐, FiLM, Yeo-Johnson
一句话总结¶
提出特征感知时间调制机制,通过基于时间上下文的可学习 Yeo-Johnson 变换动态调整特征分布(均值、标准差、偏度),实现跨时间语义对齐。
研究背景与动机¶
- 领域现状:表格 ML 假设 i.i.d.,但真实场景中特征语义随时间演变。
- 核心矛盾:静态模型忽略时间动态 vs 自适应模型容易过拟合。
- 解决方案:\(\tilde{x}_i = \gamma_i(\psi(t)) \cdot \text{YJ}(x_i; \lambda_i(\psi(t))) + \beta_i(\psi(t))\)
方法详解¶
整体框架¶
在标准表格模型(MLP等)前/中/后插入轻量级时间调制模块。输入表格特征 \(\bm{x} \in \mathbb{R}^m\) 和时间戳 \(t\),通过时间嵌入 \(\psi(t)\) 条件化调制器生成 per-feature 的变换参数。
关键设计¶
- 时间调制函数:
- \(\tilde{x}_i = \gamma_i(\psi(t)) \cdot \text{YJ}(x_i; \lambda_i(\psi(t))) + \beta_i(\psi(t))\)
- \(\gamma\) 控制尺度(对应标准差变化),\(\beta\) 控制偏移(对应均值漂移),\(\lambda\) 控制 Yeo-Johnson 变换参数(对应偏度重塑)
- Yeo-Johnson 变换:\(\text{YJ}(x; \lambda) = ((x+1)^\lambda - 1)/\lambda\) (x≥0) 或 \(-((-x+1)^{2-\lambda}-1)/(2-\lambda)\) (x<0)
- 时间嵌入 \(\psi(t)\):将时间戳映射到向量,捕获长短期时间动态(趋势+周期性)
- 多位置应用:可灵活放在原始输入、中间表示或输出 logits 处。实验发现单次调制在原始输入即可学到稳定决策边界
设计动机¶
- 特征存在客观语义(固定数值含义)和主观语义(相对分布定义的含义)
- 线性调制(FiLM)不足以捕获非线性的语义演变,Yeo-Johnson 变换可处理偏斜和重尾分布
- 调制后的特征表示具有统一语义,模型可学到跨时间稳定的决策边界
实验关键数据¶
主实验(TabReD等8个时序表格基准)¶
| 方法类别 | 代表方法 | 排名 |
|---|---|---|
| 静态方法 | XGBoost/CatBoost/TabM | 中等 |
| 时间嵌入 | +\(\psi(t)\)拼接 | 中上 |
| 特征调制(本文) | +Yeo-Johnson调制 | 最优 |
消融实验¶
| 配置 | 效果 |
|---|---|
| 仅\(\gamma, \beta\)(线性FiLM) | 部分有效但不够 |
| 仅\(\lambda\)(仅YJ) | 部分有效 |
| \(\gamma + \beta + \lambda\)(完整调制) | 最优 |
| 调制位置:原始输入 | 效果最好 |
| 调制位置:中间层 | 次优 |
亮点与洞察¶
- 客观/主观语义区分:解释了为什么简单归一化不够——"高收入"的阈值随通胀变化,坐标不变但"黄金地段"随城市发展变化
- Yeo-Johnson 的巧妙使用:经典统计变换变为可学习、时间条件化组件,比纯 FiLM 线性调制更强大
- 单次调制即可学到稳定决策边界,说明语义对齐而非显式时间信息注入才是关键
- 协变量和标签漂移通过语义对齐被自然缓解,无需额外处理
局限性 / 可改进方向¶
- 仅验证表格数据,其他时序场景待探索
相关工作与启发¶
- vs FiLM:FiLM 只做线性调制(\(\gamma\)和\(\beta\)),本文加入 Yeo-Johnson 非线性变换处理偏度
- vs TabReD 时间嵌入:简单拼接时间嵌入编码维度有限,本文通过 per-feature 调制实现更细粒度控制
- vs Hypernetworks:完整 hypernetwork 生成所有权重太昂贵,本文的特征调制是轻量级替代
评分¶
- 新颖性: ⭐⭐⭐⭐ 特征语义对齐视角新颖,Yeo-Johnson的可学习使用巧妙
- 实验充分度: ⭐⭐⭐⭐ 8个时序表格基准,多方法对比+充分消融
- 写作质量: ⭐⭐⭐⭐ 动机清晰,图示直观,特征分布演变可视化很好
- 价值: ⭐⭐⭐⭐ 对时序表格学习有实际指导意义,应用前景广