跳转至

CompAgent: An Agentic Framework for Visual Compliance Verification

会议: CVPR 2026
arXiv: 2511.00171
代码: 无
领域: 目标检测 / 内容安全
关键词: 视觉合规验证, 智能体框架, 工具增强推理, 内容审核, MLLM

一句话总结

提出 CompAgent，首个用于视觉合规验证的智能体框架——Planning Agent 根据合规策略动态选择视觉工具（目标检测、人脸分析、NSFW 检测等），Compliance Verification Agent 整合图像、工具输出和策略上下文进行多模态推理，无需训练即在 UnsafeBench 上超越 SOTA 10% 达 76% F1。

研究背景与动机

视觉内容合规验证在视觉领域中意义重大但研究不足：

实际需求迫切：从 GDPR 到 Ofcom 等各种法规要求确保视觉内容合规，流媒体平台因违规面临最高 2300 万美元罚款。内容合规涉及检测有害物体、不当手势、露骨内容等多方面，且随地区、文化、行业持续演变。

现有方案的根本局限： - 专用分类器：需要昂贵的标注数据，且策略变化后需重新训练，泛化能力差。LlavaGuard 在自家数据集上 F1=0.91，但在 UnsafeBench 上降至 0.66。 - MLLM 直接提示：虽具备广泛知识，但在精细视觉细节推理和结构化合规规则应用上能力不足。最好的零样本 MLLM（Llama 4 Maverick）在 LlavaGuard 上仅 0.55 F1。

智能体方法的缺口：尽管 agentic 方法在其他领域蓬勃发展，但尚无专门针对视觉合规验证的智能体框架。

CompAgent 的思路：不训练专用模型，也不仅靠提示工程，而是通过工具增强的智能体架构将合规验证分解为模块化步骤——动态规划工具选择 + 多模态证据融合推理。

方法详解

整体框架

CompAgent 包含三个核心组件：

  1. Planning Agent：解析合规策略，动态选择合适的视觉工具收集证据
  2. Tool Suite：模块化的现成工具集合（目标检测、人脸检测、OCR、NSFW 检测等）
  3. Compliance Verification Agent (CVAgent)：整合图像、工具输出和策略上下文做最终判定

关键设计

  1. Planning Agent — ReAct 循环式工具编排：基于 ReAct（Reasoning and Acting）框架实现思考-行动-观察循环。在每步 \(t\)，Agent 维护状态 \(s_t = \{I, P, E_t\}\)（图像、策略、累积证据），推理哪些策略条款尚未验证，选择工具 \(a_t \in T \cup \{\text{CONCLUDE}\}\)，执行工具获取观察并更新证据：

    \(E_{t+1} = E_t \cup (\text{thought}_t, a_t, o_t)\)

关键特点：工具选择不依赖固定路由表或学习策略，而是由 LLM 在上下文中基于三个因素推理：(1) 策略 \(P\) 中还有哪些条款缺乏证据；(2) 每个工具的能力和局限描述；(3) 已收集的证据 \(E_t\)。例如年龄限制策略触发人脸检测，文本违规策略优先触发 OCR。实现上使用 LangGraph + Claude Sonnet 3.5 v2，最大推理步数 10。

  1. 模块化 Tool Suite：覆盖常见合规策略需要的证据类型：

    • 摘要工具：生成场景描述
    • 内容检测工具：人脸检测（年龄/表情/情绪）、目标检测（bounding box + 置信度）、文字检测（OCR）、内容审核（不安全类别 + 严重程度）
    • 专用合规工具：LlavaGuard（安全评级 + 违规类别 + 理由）、Safe-CLIP（七类有毒内容零样本检测）、ICM Assistant（模板化安全评估）

工具套件完全模块化——可增删替换，无需重训练。Agent 将每个工具视为黑盒证据源。

  1. CVAgent — 多模态证据融合判定：在 CONCLUDE 后接收完整状态 \(s_T = \{I, P, E_T\}\)，系统性地：(1) 直接检视图像；(2) 审查每个工具输出，权衡置信度和跨工具一致性；(3) 将组合证据映射至具体策略条款；(4) 综合评估。输出包括 Safe/Unsafe 二元评级、违规类别和链接证据到策略的理由说明。

与 Planning Agent 的分工：Planning Agent 决定收集什么证据（可以是纯文本 LLM），CVAgent 决定如何解读证据（需要 MLLM 的视觉能力直接看图）。

损失函数 / 训练策略

CompAgent 完全 training-free，不需要标注数据或微调，高度适应不断变化的合规策略。这是对比微调方法（如 LlavaGuard 需要特定策略的标注数据）的关键优势。

实验关键数据

主实验

方法 类型 LlavaGuard F1 UnsafeBench F1 说明
Claude Sonnet 3.5 v2 零样本 0.61 0.54 最好的零样本单模型
Llama 4 Maverick 零样本 0.55 0.71 零样本
LlavaGuard (专用策略) 微调 0.91 0.66 自家数据强，跨数据集大幅下降
Safe-CLIP 微调 0.36 0.59 零样本有毒检测
Category-based Routing 路由 0.61 0.63 固定路由基线
CompAgent 智能体 0.93 0.76 两个数据集均最优

CompAgent 在 LlavaGuard 数据集上 F1=0.93（超越微调的 LlavaGuard 0.91），在 UnsafeBench 上 F1=0.76（超越 SOTA 10%），且无需任何训练数据。

消融实验

配置 UnsafeBench F1 说明
无工具（直接 MLLM） 0.54 缺乏精细视觉证据
固定工具路由 0.63 静态分配不灵活
无 Planning Agent 较低 工具选择不够针对性
无 CVAgent（Planning 直接判定） 较低 缺乏多模态证据融合
完整 CompAgent 0.76 动态编排 + 证据融合最优

决策轨迹分析显示：LlavaGuard 数据集上有 95 种不同的工具使用模式，UnsafeBench 上有 147 种——说明框架确实在动态适应不同的合规需求。

关键发现

  • 零样本 MLLM 不够：即使最强的 MLLM 直接使用也无法满足合规验证需求，说明结构化工具增强不可或缺
  • 微调模型泛化差：LlavaGuard 在自家数据 F1=0.91，跨数据集降至 0.66，暴露基于特定数据训练的脆弱性
  • 智能体方法的优势核心：动态工具选择 + 多源证据交叉验证 + 无需训练的灵活适应

亮点与洞察

  • 首个视觉合规验证的 agentic 框架，开辟了新的研究方向
  • 零训练 + 超越微调模型的结果令人惊喜：证明在合规验证这类策略多变的场景中，agentic 方法比微调更实用
  • Planning Agent 与 CVAgent 的分离设计很巧妙：信息收集（可用便宜的 LLM）和信息判定（需要 MLLM 看图）解耦
  • 工具套件的模块化设计使系统易于扩展和适应新合规需求

局限与展望

  • 当前仅处理单张图像，视频合规验证（连续场景、上下文依赖）需要扩展
  • 依赖 Claude Sonnet 3.5 v2 作为骨干，推理成本较高且依赖闭源模型
  • 工具套件的选择和描述需要人工设计，新工具的集成仍需人工干预
  • 在 UnsafeBench 上 F1=0.76 虽为 SOTA，但距离完美仍有较大差距
  • 缺乏对延迟和成本的详细分析（多次工具调用 + LLM 推理）

相关工作与启发

  • ReAct 框架在视觉合规领域的首次应用，证明 agentic 方法在需要灵活适应的任务中有独特价值
  • 与 NudeNet、Safe-CLIP 等专用工具的关系：CompAgent 将它们作为工具源而非替代品
  • 启发：其他需要策略驱动判定的视觉任务（如广告合规、医学影像审查）可借鉴此框架

评分

  • 新颖性: ⭐⭐⭐⭐ 首个合规验证 agentic 框架，但 ReAct + 工具调用本身不算新
  • 实验充分度: ⭐⭐⭐⭐ 两个数据集对比充分，消融和可解释性分析到位
  • 写作质量: ⭐⭐⭐⭐ 问题定义清晰，框架描述详细，但正文稍长
  • 价值: ⭐⭐⭐⭐⭐ 实际应用价值极高，无训练适应新策略的特性对工业界有直接意义

相关论文