MultiSocial: Multilingual Benchmark of Machine-Generated Text Detection of Social-Media Texts¶

会议: ACL 2025
arXiv: 2406.12549
代码: https://github.com/kinit-sk/multisocial
领域: 文本生成
关键词: 机器文本检测, 多语言, 社交媒体, 基准数据集, LLM生成文本

一句话总结¶

构建首个多语言(22种语言)、多平台(5个社交媒体)、多生成器(7个LLM)的社交媒体机器生成文本检测基准 MultiSocial（47万文本），填补了社交媒体短文本+非英语场景下 MGT 检测研究的空白，发现微调检测器可在社交媒体文本上有效训练且训练平台选择很重要。

领域现状：机器生成文本检测(MGTD)研究主要聚焦英语和长文本（新闻、论文、学生作文）。现有多语言基准（如 M4GT-Bench、MULTITuDE）也主要覆盖新闻领域。
现有痛点：(a) 社交媒体文本具有独特挑战——非常短小、非正式语言风格、含表情/标签/缩写/语法错误；(b) 缺乏多语言+社交媒体域的基准数据集，无法评估现有检测器在这些场景下的鲁棒性；(c) 现有社交媒体 MGT 数据集要么仅英语（TweepFake、Fox8-23）要么仅覆盖单一生成器（GPT）。
核心矛盾：社交媒体是 LLM 生成内容最容易传播的渠道（低门槛、高传播速度），但检测研究在这个领域最薄弱——相当于"最危险的地方防线最弱"。
本文要解决什么？ 构建全面的社交媒体 MGT 检测基准并系统评估现有方法。
切入角度：大规模采集 5 个社交平台上 22 种语言的真实人工帖子，用 7 个多语言 LLM 生成风格匹配的对应文本，形成配对数据集。
核心idea一句话：首个覆盖 22 语言×5 平台×7 生成器的社交媒体 MGT 检测基准。

评估三类检测方法： 1. 统计方法: 基于困惑度、排名等文本统计特征 2. 预训练检测器（Zero-shot）: 直接使用已训练好的检测模型，不做社交媒体域适配 3. 微调检测器: 在 MultiSocial 数据上微调的检测器

评估维度： - 多语言检测能力（同语言训练+测试） - 跨语言迁移（一种语言训练，其他语言测试） - 跨平台泛化（一个平台训练，其他平台测试） - 跨生成器泛化（一个 LLM 的文本训练，检测其他 LLM 的文本）

评估维度	关键发现
语言差异	英语 vs 非英语在 zero-shot 下差距显著，微调后差距缩小
平台差异	Telegram 训练集提供最佳跨语言迁移能力
跨平台泛化	不同平台训练的检测器泛化能力差异大——Reddit 训练的检测器泛化最差
文本长度影响	更短的文本确实更难检测
生成器差异	GPT-4 生成的文本最难检测，Llama 较容易
跨生成器泛化	在一个 LLM 文本上训练的检测器对其他 LLM 泛化尚可

填补重要痛点——社交媒体是 LLM 虚假信息传播的主战场，MGT 检测在此场景下的研究严重不足。MultiSocial 是第一个全面覆盖这一场景的基准。
22语言覆盖为非英语 MGTD 研究提供了基础设施——之前的工作最多覆盖 9-11 种语言。
平台选择影响训练效果是实用发现——实际部署时应优先选择泛化能力强的平台数据进行训练。
多维度评估框架（跨语言/跨平台/跨生成器/跨长度）为后续研究提供了标准化的评估方法。
该数据集可用于研究 LLM 虚假信息检测、自动化社交媒体内容治理等应用。