跳转至

OpenAnimals: Revisiting Person Re-Identification for Animals Towards Better Generalization

  • 会议: ICCV 2025
  • arXiv: 2410.00204
  • 代码: 随论文提交(OpenAnimals 代码库)
  • 领域: 人体理解
  • 关键词: 动物重识别, 行人重识别迁移, 开源框架, 基线模型, 跨物种泛化

一句话总结

本文开发了 OpenAnimals 开源框架,系统回顾行人重识别方法在动物重识别中的迁移效果,提出面向动物的强基线模型 ARBase,在多个基准上大幅超越现有行人 ReID 方法。

研究背景与动机

动物重识别(Animal Re-ID)旨在识别特定物种中的个体动物,对野生动物保护、种群监测和行为研究至关重要。尽管与行人重识别(Person Re-ID)概念相似,但两者存在本质差异:

物种多样性:不同物种(鬣狗、豹子、海龟、鲸鲨)视觉外观和行为差异极大

环境变异性:从草原到海洋,不同物种栖息环境差异巨大,远非行人 ReID 中相对可控的城市场景

姿态差异:四足行走(鬣狗/豹子)与水中游泳(海龟/鲸鲨)完全不同于人类双足行走

数据稀缺:野生环境下数据采集和标注困难,可用数据量远少于行人数据集

核心问题在于:行人重识别领域积累的大量技术和方法论能否有效迁移到动物重识别?现有研究对此缺乏系统性分析。

方法详解

整体框架

本文的工作分为三部分:

  1. OpenAnimals 框架:基于 FastReID 和 WildLifeDatasets 构建的统一动物 ReID 平台
  2. 系统回顾实验:在动物基准上逐一消融行人 ReID 方法(BoT、AGW、SBS、MGN)的关键设计
  3. ARBase 模型:综合回顾实验的洞察构建面向动物的强基线

OpenAnimals 框架设计

遵循两个核心原则:

  • 行人 ReID 兼容性:继承 FastReID 核心层,支持 SOTA 行人 ReID 方法的无缝接入
  • 多物种支持:整合 WildLifeDatasets 的数据集组织策略,统一框架支持 30+ 物种

模块化设计包含 Data、Backbone、Head、Loss、Training & Testing 五个阶段。

ARBase 模型设计

基于回顾实验中的关键发现,ARBase 在五个模块中做出面向动物的针对性设计:

Data 模块: - 关键修改——输入分辨率:行人 ReID 统一使用宽<高的分辨率(如 \([256,128]\)),因为人类通常直立。但动物姿态各异,ARBase 采用正方形分辨率 \([384,384]\),该简单修改效果显著 - 仅使用随机水平翻转(\(p=0.5\)),去除 Random Erasing 和 AutoAug

Backbone 模块: - ResNet-50(ImageNet 预训练),最后步长改为 1(细粒度特征) - 用 Instance-Batch Normalization(IBN)替换 BN:IN 学习外观不变特征(适应不同环境),BN 保留内容信息 - 多分支架构:全局分支 + 2-part 分支 + 3-part 分支(源自 MGN 的洞察)

Head 模块:Global Average Pooling + Linear + BNNeck(分离 triplet 和 CE 特征空间)

Loss 模块: - BNNeck 前特征计算 triplet loss:\(L_{tp} = \frac{1}{N_b}\sum_{i=1}^{N_b}\text{max}(0, m + d_{pos}^i - d_{neg}^i)\) - BNNeck 后特征计算带 label smoothing 的 cross-entropy loss

Training & Testing:Adam 优化器 + Cosine Annealing 学习率调度

实验

主实验:ARBase vs 行人 ReID 方法

方法 HyenaID R1/mAP LeopardID R1/mAP SeaTurtleID R1/mAP WhaleSharkID R1/mAP
BoT 58.64/34.96 54.92/27.65 84.01/41.92 52.54/20.86
AGW 56.36/32.72 54.10/28.67 85.17/46.18 50.76/21.11
SBS 51.82/30.56 51.23/26.54 84.01/44.63 47.46/18.84
MGN 55.91/31.08 53.69/28.21 86.05/46.67 50.25/21.47
ARBase 73.18/44.87 64.34/37.08 86.92/55.99 62.44/29.45

ARBase 在 HyenaID 上 R1 提升 14.54%,WhaleSharkID 上提升 9.90%,LeopardID 上提升 9.42%

回顾实验关键发现

技术 对行人有效 对动物泛化情况
Random Erasing ✗(在3/4数据集上负面效果,破坏微妙的个体细节)
Label Smoothing ✓(在≥3个数据集上有益)
Last Stride=1 ✓(一致有益)
BNNeck ✓(一致有益)
Non-local Attention ✗(效果不一致)
Gen-mean Pooling ✗(效果不一致)
Weighted Triplet ✗(效果不一致)
Freeze Training ✗(去除反而提升)
AutoAug ✗(去除反而提升)
Cosine Annealing ✓(一致有益)
Multi-Branch (MGN) ✓(多粒度特征对动物也有效)

消融实验(Data & Backbone)

配置 HyenaID R1/mAP WhaleSharkID R1/mAP
BoT [256,128] 58.64/34.96 52.54/20.86
BoT [384,384] 60.45/36.43 58.12/24.39
ARBase w/o IBN 69.09/43.58 61.93/29.28
ARBase w/o MB 71.36/42.87 61.42/27.78
ARBase (Full) 73.18/44.87 62.44/29.45

仅调整分辨率到正方形就使 WhaleSharkID 上 BoT 的 R1 从 52.54% 提升到 58.12%(+5.58%)。

消融实验(Head, Loss, Training)

配置 HyenaID R1/mAP WhaleSharkID R1/mAP
w/o BNNeck 64.55/39.23 44.42/22.29
w/o Label Smoothing 68.18/44.72 61.42/27.88
w/o Cosine Annealing 71.82/43.40 62.44/28.69
ARBase (Full) 73.18/44.87 62.44/29.45

BNNeck 对 WhaleSharkID 影响巨大(R1 从 62.44% 降至 44.42%),说明分离特征空间对动物 ReID 同样关键。

亮点与洞察

  • 系统性的回顾实验揭示了许多行人 ReID 中公认有效的技术在动物 ReID 中不适用,如 Random Erasing 和 AutoAug——因为动物个体间差异更微妙,随机擦除可能破坏判别性细节
  • 输入分辨率的洞察意义深远:行人 ReID 长期使用的竖长分辨率完全不适合动物的多样姿态,仅改为正方形就有显著提升
  • IBN 的引入巧妙解决了动物 ReID 中环境变异大的问题
  • ARBase 的设计原则——简单但针对性强——在不引入复杂模块的情况下实现了大幅提升

局限性

  • 仅测试了四种动物物种,泛化到更多物种(如鸟类、昆虫等)的效果未知
  • 使用固定的 ResNet-50 backbone,未探索近年来更强的预训练模型(如 DINOv2、CLIP)
  • 多分支架构的横向分割假设对某些动物可能不合理(如蛇类、鱼类)
  • 未考虑视频序列中的时空信息
  • 数据集规模较小,过拟合和泛化性的深入分析不足

相关工作

  • 行人 ReID: BoT(训练技巧包)、AGW(非局部注意力+Gem池化)、SBS(自动增强+余弦退火)、MGN(多粒度网络)
  • 动物 ReID: HotSpotter(手工特征)、MegaDescriptor(多物种预训练)、基于 CLIP/DINOv2 的方法
  • 开源框架: FastReID(行人)、WildLifeDatasets(动物数据集管理)

评分

维度 分数
创新性 ⭐⭐⭐
有效性 ⭐⭐⭐⭐⭐
清晰度 ⭐⭐⭐⭐⭐
实用价值 ⭐⭐⭐⭐⭐
总评 8.0/10

相关论文