A Content-Preserving Secure Linguistic Steganography¶
会议: AAAI 2026
arXiv: 2511.12565
代码: 无
领域: AI安全 / 信息隐藏 / 自然语言处理
关键词: 语言隐写术, 内容保持, 掩码语言模型, 分布变换, 安全通信
一句话总结¶
提出首个内容保持型语言隐写术范式CLstega，通过微调掩码语言模型（MLM）来可控地变换预测分布，将秘密信息嵌入到不做任何修改的原始文本中，实现了100%提取成功率和近乎完美的安全性（隐写分析检测准确率接近随机猜测的0.5）。
背景与动机¶
语言隐写术（Linguistic Steganography, LS）将秘密信息隐藏在自然语言文本中，利用日常通信的掩护来传递隐蔽消息。现有方法主要分两类：修改型（MLS）通过同义词替换、句法变换等方式修改原文；生成型（GLS）在自动生成文本时控制词选择来嵌入信息。但无论哪类方法，都无法完全消除隐写文本（stego text）与正常文本之间在统计分布、语义、感知上的偏差。即使像Discop这样试图保持分布的方法，生成的文本仍然与自然文本存在分布差距，容易被高级隐写分析工具检测到。
关键的洞察是：只要对文本内容做了改动（无论是修改还是生成），就不可避免地引入可被检测的线索。那么，能否在完全不修改原文的前提下嵌入秘密信息？
核心问题¶
如何在不改变载体文本任何一个字的前提下，仍然能将不同的秘密信息嵌入同一段文本，并且能够可靠提取？这在传统思路下看似不可能——因为同一段不变的文本怎么能承载不同的信息？本文的关键突破在于：不改变文本本身，而是改变用于"解读"文本的编解码函数。
方法详解¶
整体框架¶
CLstega包含三个核心模块：增强掩码（Augmented Masking）、动态分布隐写编码（Dynamic Distribution Steganographic Coding, DDSC）和可控分布变换（Controllable Distribution Transformation）。
整体流程：给定一段原始文本（cover text），首先通过词性标注定位适合嵌入的位置（非功能词），然后用MLM获取这些位置的原始预测分布。根据要嵌入的秘密信息比特，构造相应的目标分布，并通过精心选取标签词构建训练数据来微调MLM，使其在嵌入位置输出符合目标分布的预测结果。微调后的MLM就是"密钥"——发送方和接收方共享同一个微调后的MLM，接收方用它对原文做预测即可提取秘密信息。
关键设计¶
-
增强掩码策略（Augmented Masking）:
分为"定位"和"掩码"两步。定位阶段，通过词性标注工具找到句子中的非功能词（名词、动词等），因为这些词在MLM预测时熵更高、分布更灵活、更容易调控。掩码阶段，提出了单位置增强掩码（SPAM）策略：不是一次性把所有嵌入位置都mask掉（FPM），而是为每个嵌入位置独立创建一份掩码副本，每份只mask一个位置。这样每份副本保留了l-1个上下文词，MLM能做出更准确的预测，大幅提升了分布变换的成功率。 -
动态分布隐写编码（DDSC）:
这是将"同一个词"映射到"不同秘密信息"的核心机制。编码规则非常精巧：对于每个嵌入位置，MLM给出一个词汇表上的概率分布P。如果原始词w恰好是最高概率词（排名第1），则编码为'0'；否则编码为'1'。这样，通过控制原始词w在分布中的排名——是第1名还是非第1名——就能编码1比特信息。关键在于：文本中的词不变，变的是MLM的预测分布。 -
可控分布变换（Controllable Distribution Transformation）:
为了让MLM的预测分布符合目标编码，需要通过微调来"变换分布"。具体做法：(1) 如果要编码'0'（原词需要排第1），就用原词本身作为标签；(2) 如果要编码'1'且原词当前排第1，就选排第2的候选词作为标签，把原词挤下去；(3) 如果要编码'1'且原词本来就不排第1，就用当前第1名词作为标签来强化它的位置。所有标签-掩码句对组成训练集，用交叉熵损失微调MLM。
损失函数 / 训练策略¶
- 损失函数：标准交叉熵损失，衡量MLM在掩码位置的预测分布与目标词标签之间的差异
- 优化器：AdamW，weight decay 0.01，初始学习率5e-5
- 训练配置：batch size 32，FP16混合精度训练
- MLM基座：bert-base-cased（HuggingFace预训练版本）
- 值得注意的是，每次通信都需要针对具体的cover text和秘密信息进行一次微调，微调后的MLM作为密钥由双方共享
实验关键数据¶
| 数据集/场景 | 指标 | 本文(CLstega) | 之前SOTA | 提升 |
|---|---|---|---|---|
| CC-100 (BiLSTM-Dense检测) | Acc/F1 | 0.4955/0.5070 | CPGLS: 0.5130/0.5375 | 更接近0.5(完美安全) |
| CC-100 (SeSy检测) | Acc/F1 | 0.5038/0.4968 | Discop: 0.5032/0.5095 | 持平/更优 |
| CC-100 (HiDuNet检测) | Acc/F1 | 0.5012/0.4924 | CPGLS: 0.5390/0.5035 | 显著更安全 |
| CC-100 | PPL (困惑度) | 70.16 | CPGLS: 82.55 | 降低15% |
| CC-100 | ER (嵌入率) | 0.4204 | ARLS: 0.2542 | +65% vs MLS方法 |
| CC-100 (AW, k=all) | ER | 0.9538 | - | 接近理论上限1.0 |
| 所有设置 | ESR (提取成功率) | 100% | - | 完美提取 |
消融实验要点¶
- 掩码策略：SPAM相比FPM收敛更快，在相同epoch数下ESR更高。SPAM在k=2、4、8、all时都能更快达到100% ESR
- 嵌入位置数k：k越大，嵌入容量越高但需要更多微调epoch才能收敛到100% ESR
- 定位策略：非功能词（NFW）、功能词（FW）、任意词（AW）三种策略在k固定时嵌入率接近；AW+k=all可达最高嵌入率0.9538
- 提取效率：FPM提取时间复杂度O(N)，不受k影响；SPAM为O(kN)，k较大时效率下降
亮点¶
- 范式级创新：首次提出"内容保持型"语言隐写范式，从根本上消除了stego text和cover text之间的差异，因为它们就是同一段文本
- 完美安全的理论保证：由于stego text = cover text，KL散度严格为0，在统计、语义、句法、感知所有维度上都无法区分
- 巧妙的编码思路：不改文字改"解读方式"——通过控制MLM的预测分布来编解码，这个思路非常优雅
- 100%提取成功率：在所有实验设置下都能完美提取嵌入的秘密信息
- Case Study展示中，CLstega是唯一一个stego text与cover text完全相同的方法，PPL也完全一致（58.70）
局限性 / 可改进方向¶
- 计算开销大：每次通信都需要针对具体文本和信息微调MLM，嵌入过程不够实时
- 嵌入容量有限：当前编码规则每个位置只能嵌入1比特（排名第1 vs 非第1），理论最大嵌入率为1 bpw（bit per word）
- 密钥分发问题：微调后的MLM本身就是密钥，如何安全高效地分发这个"大密钥"是实际部署的挑战
- 鲁棒性未验证：论文未探讨文本被轻微修改（如OCR噪声、格式变化）后的提取鲁棒性
- 可扩展到多比特：可以设计更细粒度的编码规则（如按排名区间分配多比特）来提升嵌入容量
与相关工作的对比¶
- vs CPGLS（修改型SOTA）：CPGLS用CNN因果感知网络选择安全的嵌入位置并做词替换，安全性已经不错（Acc≈0.51），但CLstega因为完全不改文本，安全性更优（Acc≈0.50）。CPGLS嵌入率0.108远低于CLstega的0.42
- vs Discop（生成型SOTA）：Discop通过复制概率分布来保持生成文本的分布一致性，嵌入率5.53远高于CLstega，但生成的文本PPL为86.33，且在HiDuNet检测下F1达0.548，安全性不如CLstega
- vs 传统隐写术（图像/音频）：语言隐写术的独特挑战在于文本的离散性和语义敏感性，CLstega通过在"模型空间"而非"文本空间"操作，巧妙规避了这些挑战
启发与关联¶
- 模型即密钥的思路值得深入探索：微调后的模型参数差异可以作为信息载体，这可能启发新的隐蔽通信方式
- 与模型水印（model watermarking）领域有潜在联系：都是在不改变表面输出的情况下嵌入信息
- 可以考虑将类似思路应用到LLM（如GPT系列），用更大的模型和更灵活的分布变换来提升嵌入容量 → 已形成idea：LLM分布隐写术
- 对抗性视角：这种方法对隐写分析领域提出了新挑战——当stego text和cover text完全相同时，纯文本层面的检测方法将完全失效，未来的检测可能需要关注通信双方的行为模式
- 与语义分区水印idea也有关联：语义分区水印溯源——都涉及在不改变内容的情况下嵌入可提取的信息
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出内容保持范式，根本性地改变了语言隐写术的思路，从"改文本"变为"改解读方式"
- 实验充分度: ⭐⭐⭐⭐ 安全性、嵌入率、PPL、提取成功率、消融实验都做了，但缺少大规模场景测试和实际部署评估
- 写作质量: ⭐⭐⭐⭐ 逻辑清晰，范式陈述和方法描述由浅入深，但公式较密集
- 价值: ⭐⭐⭐⭐ 范式创新意义重大，但计算开销和嵌入容量限制了实际应用价值
补充说明¶
- 该工作的方法论和实验设计对相关领域有参考价值
- 后续工作可在更多场景和更大规模上验证方法的泛化性和可扩展性
- 与近期相关工作的结合（如与 RL/MCTS/多模态方法的交叉）有潜在研究价值
- 建议结合实际应用需求评估该方法的部署可行性和计算效率
- 数据集和评估指标的选择可能影响结论的普适性，需在更多 benchmark 上交叉验证