🌐 多语言/翻译¶
💬 ACL2025 · 90 篇论文解读
- A Case Study of Cross-Lingual Zero-Shot Generalization for Classical Languages in LLMs
-
系统评估 LLM 在三种古典语言(梵语、古希腊语、拉丁语)上的零样本跨语言泛化能力,涵盖 NER、机器翻译和问答三个 NLU 任务,同时贡献 1501 对梵语问答数据集并验证 RAG 策略的有效性,揭示模型规模是跨语言泛化的决定性因素。
- Accessible Machine Translation Evaluation For Low-Resource Languages
-
本文针对低资源语言的机器翻译评估困境,提出了一套不依赖高质量参考翻译和大规模标注数据的可访问评估框架,使得资源匮乏的语言可以有效评估翻译质量。
- Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation
-
提出 DCSQE 框架,通过约束波束搜索生成更真实的合成翻译、利用独立的标注模型纠正标签偏差、以及 SPCE 算法将 token 级标签聚合为短语级标签,有效缓解合成 QE 数据的分布偏移问题,在有监督和无监督设置下均超越 CometKiwi 等 SOTA 基线。
- An Expanded Massive Multilingual Dataset for High-Performance Language Technologies (HPLT)
-
本文介绍 HPLT v2,一个从 4.5 PB 的 Internet Archive 和 Common Crawl 数据中提取的大规模多语言数据集,包含覆盖 193 种语言的 8 万亿 token 单语数据和覆盖 51 种语言的 3.8 亿句对平行数据,并通过改进的数据处理管线显著提升了数据质量。
- Are Rules Meant to be Broken? Understanding Multilingual Moral Reasoning as a Computational Pipeline with UniMoral
-
提出UniMoral——一个跨6种语言的统一道德推理数据集,将道德推理建模为包含行为预测、道德类型分类、因素归因和后果生成的计算流水线,对3个LLM的基准测试揭示隐式道德语境能增强模型道德推理能力但仍需专门化方法。
- AskQE: Question Answering as Automatic Evaluation for Machine Translation
-
提出 AskQE——基于问答的机器翻译质量估计框架,通过对源文本生成问题、分别在源文本和回译输出上回答、对比答案差异来检测翻译错误,帮助不懂目标语言的用户判断翻译是否可接受,在 BioMQM 数据集上 Kendall's τ 相关和决策准确率均优于现有 QE 指标。
- 7 Points to Tsinghua but 10 Points to 清华? Assessing Agentic Large Language Models in Multilingual National Bias
-
首次系统研究LLM作为多语言智能建议agent在推理型决策任务中的国籍偏见,通过大学申请/旅行/搬迁三类场景+Thurstone比较法量化GPT-3.5/GPT-4/Claude Sonnet在6种语言下的评分偏差,发现"本地语言偏见"(local language bias)普遍存在,且CoT推理在非英语语言中反而加剧偏见。
- Beyond N-Grams: Rethinking Evaluation Metrics and Strategies for Multilingual Abstractive Summarization
-
系统评估了 n-gram 和神经网络评估指标在 8 种语言(4 个形态类型族)上与人类判断的相关性,发现 n-gram 指标在高融合语言(阿拉伯语、希伯来语)上与人类判断负相关,而专门训练的神经指标 COMET 在所有语言类型上一致优于其他方法。
- Blessing of Multilinguality: A Systematic Analysis of Multilingual In-Context Learning
-
系统分析多语言 ICL 策略,发现在 prompt 中混合多种高资源语言(HRL)的 demonstrations 一致性优于纯英文 demonstrations,尤其在低资源语言(LRL)上提升显著(Llama3.1 上 LRL 平均准确率提升 8.9~12.6%),甚至仅在 prompt 中加入不相关的非英语句子也能带来可测量的增益,揭示了"多语言暴露本身即有效"的现象。
- Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention
-
本文提出INCLINE(Inference-Time Cross-Lingual Intervention),一种无需微调的推理时框架,通过学习对齐矩阵将低性能语言的内部表示变换到高性能语言的表示空间,在9个基准和5个LLM上显著提升多语言性能。
- CC-Tuning: A Cross-Lingual Connection Mechanism for Improving Joint Multilingual Supervised Fine-Tuning
-
本文提出 CC-Tuning,一种在隐空间层面显式建立跨语言连接的多语言微调范式,通过融合英语和非英语输入的前馈激活来提升非英语语言的能力,并在推理时利用 Transform Matrix 模拟跨语言连接。
- CCHall: A Novel Benchmark for Joint Cross-Lingual and Cross-Modal Hallucinations Detection in Large Language Models
-
提出首个联合跨语言与跨模态幻觉检测基准 CCHall,覆盖 9 种语言和 4 类多模态数据集,系统评估 6 款主流 MLLM 在联合场景下的幻觉表现,揭示当前模型在该联合场景中 F1 比单独跨模态低 10.9、比单独跨语言低 3.4,且提出多语提示和外部工具辅助两条缓解路径。
- CLIX: Cross-Lingual Explanations of Idiomatic Expressions
-
提出跨语言习语解释任务 CLIX,构建了包含英语习语及其西班牙语/德语解释的数据集,系统评估了 seq2seq 模型和 LLM 在该任务上的表现,发现 GPT-3.5 Turbo 的 pipeline 策略(先英文解释再翻译)配合 few-shot 效果最佳,人工评估流畅度和准确度高达 4.7+/5。
- Code-Switching Curriculum Learning for Multilingual Transfer in LLMs
-
本文受人类第二语言习得中语码转换现象的启发,提出 CSCL(Code-Switching Curriculum Learning)框架,通过"token 级 CS → 句子级 CS → 单语语料"的渐进式课程训练策略来增强 LLM 的跨语言迁移能力,在韩语、日语、印尼语等目标语言上显著优于单语持续预训练方法。
- Code-Switching Red-Teaming: LLM Evaluation for Safety and Multilingual Understanding
-
本文提出 CSRT(Code-Switching Red-Teaming)框架,利用日常生活中常见的语码转换(code-switching)现象来构造多语言混合的红队攻击查询,成功在 10 个主流 LLM 上发现了严重的安全漏洞,攻击成功率比标准英语攻击高出 46.7%,揭示了当前 LLM 安全对齐在多语言场景下的脆弱性。
- Comparative Analysis of Multilingual Hate Speech Detection
-
本文系统比较了多种LLM和预训练语言模型在多语言仇恨言论检测任务上的表现,揭示了跨语言迁移的关键瓶颈,并提出针对低资源语言的增强策略。
- Context Augmented Token-Level Post-Editing for Human Interpreting
-
本文提出一种上下文增强的 token 级后编辑方法,利用对话上下文信息对人工口译的 ASR 转录进行细粒度纠错,在保持口译流畅性的同时显著提升转录质量。
- COSMMIC: Comment-Sensitive Multimodal Multilingual Indian Corpus
-
构建首个面向印度语言的评论感知多模态多语言数据集COSMMIC——覆盖9种印度语言、4,959篇文章-图像对、24,484条读者评论,提出评论过滤(IndicBERT)和图像分类(CLIP)增强方案,用GPT-4和LLaMA3建立摘要和标题生成基准。
- Cross-Lingual Auto Evaluation for Assessing Multilingual LLMs
-
提出 CIA (Cross Lingual Auto Evaluation) Suite,一个跨语言 LLM 评估框架,包含评估模型 Hercule 和人工标注测试集 Recon,通过利用英语参考答案对非英语语言的 LLM 响应进行评分,8B 模型在多语言评估上超越了 GPT-4o 等闭源大模型。
- Cross-Lingual Optimization for Language Transfer in Large Language Models
-
提出 Cross-Lingual Optimization (CLO),通过修改 DPO 损失函数实现跨语言偏好优化——给目标语言输入时偏好目标语言回复、给英语输入时偏好英语回复——在 5 个模型 × 6 种语言上一致超越 SFT,低资源语言中仅 3,200 样本的 CLO 即超越 6,400 样本的 SFT。
- Cross-Lingual Representation Alignment Through Contrastive Image-Caption Tuning
-
探索了一种无需平行语料的跨语言表示对齐方法——通过多语言图像-文本描述的对比学习(类 CLIP),让不同语言的文本表示在共享视觉空间中隐式对齐,并证明即使是编码器预训练中未见过的语言(如 Quechua)也能通过这种方式被纳入对齐体系。
- Cross-Lingual Transfer of Cultural Knowledge: An Asymmetric Phenomenon
-
通过构建可解释的实验框架,研究 LLM 语言适应过程中文化知识的跨语言迁移现象,发现高资源语言(中文、韩语)与英语之间存在双向迁移,而低资源语言(藏语、蒙古语)则呈现不对称迁移——知识主要从低资源语言流向英语,反向流动有限,并提出频率假说加以解释。
- Cross-Lingual Transfer of Debiasing and Detoxification in Multilingual LLMs: An Extensive Investigation
-
在 7 个 LLM 和 20 种语言上系统研究了英语去偏见/去毒化微调的跨语言迁移效果,发现 SFT 有效去偏见、DPO 有效去毒化,但迁移到非英语语言时普遍伴随语言生成能力下降(语言一致性、流畅度、多样性均受损),迁移效果可由预训练数据中目标语言的数据量预测。
- Cross-Lingual Generalization and Compression: From Language-Specific to Shared Neurons
-
本文通过追踪多语言语言模型预训练过程中的检查点,发现模型从语言特定表示逐渐压缩为跨语言共享表示:中间层的语言识别能力下降、语义概念的"专家神经元"跨语言对齐,操控从西班牙语数据提取的概念神经元后模型反而生成语义相关的英语文本。
- Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models
-
提出一种基于 beam search 和 LLM 模拟的自动化方法,高效生成双语问题对以暴露多语言 LLM 在目标语言上的跨语言性能缺陷,构建了覆盖 16 种语言的 6000+ 样本数据集,揭示即使 GPT-4o 也有超 30% 的跨语言准确率下降。
- CruxEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution
-
提出 CruxEval-X,一个覆盖 19 种编程语言的多语言代码推理基准,通过全自动的测试引导翻译流水线从 Python 版 CruxEval 扩展而来,包含 12,660 个题目和 19K 测试用例,对 24 个 LLM 的评估揭示了编程语言间的相关性以及单语言训练模型的跨语言泛化能力。
- CulFiT: A Fine-grained Cultural-aware LLM Training Paradigm via Multilingual Critique Data Synthesis
-
CulFiT 提出了一种文化感知的 LLM 训练范式,通过多语言批评数据合成和细粒度奖励建模来增强模型对不同文化的敏感度和包容性,在多个文化理解基准上达到了开源模型的最优性能。
- Dictionaries to the Rescue: Cross-Lingual Vocabulary Transfer for Low-Resource Languages Using Bilingual Dictionaries
-
本文提出一种基于双语词典的跨语言词汇迁移方法,利用BPE分词器"删除子词后回退到更短子词"的特性,通过迭代删除-重分词-对齐的过程最大化目标语言子词的映射覆盖率,在低资源语言上显著优于依赖单语语料或平行语料的现有方法。
- Disentangling Language and Culture for Evaluating Multilingual Large Language Models
-
提出 Dual Evaluation Framework,将多语言 LLM 评估沿"语言媒介"和"文化语境"两个维度解耦,发现"文化-语言协同"(Cultural-Linguistic Synergy) 现象——模型在文化语境与提问语言对齐时表现更好,并通过 FFN 神经元激活分析从可解释性角度给出解释。
- Edit Once, Update Everywhere: A Simple Framework for Cross-Lingual Knowledge Synchronization in LLMs
-
提出 X-KDE 框架,通过跨语言编辑指令微调(XE-IT)+ 目标语言偏好优化(TL-PO)实现"编辑一种语言、所有语言同步更新"的跨语言知识民主化,在 Bi-ZsRE 和 MzsRE 基准上平均提升 +8.19%,跨语言场景下显著超越所有现有方法。
- EXECUTE: A Multilingual Benchmark for LLM Token Understanding
-
扩展字符理解基准 CUTE 到 8 种语言和多种文字系统,提出 EXECUTE 框架,发现 LLM 在不同语言的字符/词/子字符级别表现差异巨大,且意外发现 LLM 对越不熟悉的语言反而在 token 理解任务上表现越好。
- Exploring In-context Example Generation for Machine Translation
-
提出DAT(Demonstration Augmentation for Translation)——在无需任何外部资源的情况下,让LLM自动生成与用户查询相关且多样的源-目标句对作为in-context示例,在5个低资源语言翻译任务上超越zero-shot和固定示例的few-shot基线。
- Exploring In-Image Machine Translation with Real-World Background
-
提出 DebackX 模型,通过将图像分离为背景和文字图像分别处理,首次解决了真实复杂背景下的图像内机器翻译 (IIMT) 任务,在翻译质量和视觉效果上均优于现有方法。
- Language Fusion for Parameter-Efficient Cross-lingual Transfer (FLARE)
-
FLARE 在 LoRA 适配器的低秩瓶颈中通过轻量线性/非线性变换融合源语言(英语)和目标语言的逐层表示,无需额外参数即可实现参数高效的跨语言迁移,在 Llama 3.1 上 QA 精确匹配提升 4.9%。
- GrammaMT: Improving Machine Translation with Grammar-Informed In-Context Learning
-
提出 GrammaMT,利用语素间注释文本 (Interlinear Glossed Text, IGT) 的语法信息来增强 LLM 的 few-shot 机器翻译,在濒危语言上平均提升 12+ BLEU,在中高资源语言上也有一致改进。
- Group then Scale: Dynamic Mixture-of-Experts Multilingual Language Model
-
提出 DMoE——基于参数偏差的动态语言分组 + 选择性 MoE 层扩展方法,通过仅 10 步微调量化语言间相似性,将相似语言分组共享同一 expert,只在参数偏差大的层(语言特定层)扩展为 MoE 层,在 18~128 种语言上 PPL 比持续预训练降低 11.4%,用 3.6 倍少的参数超越 X-ELM 9.6%。
- Hierarchical Level-Wise News Article Clustering via Multilingual Matryoshka Embeddings
-
提出利用多语言Matryoshka嵌入实现层级化新闻聚类的方法:嵌入的不同维度子集对应不同粒度的语义相似性(主题→话题→事件),配合改进的层级凝聚聚类算法,在SemEval 2022 Task 8上达到SOTA(Pearson ρ=0.816)。
- Implicit Cross-Lingual Rewarding for Efficient Multilingual Preference Alignment
-
本文提出利用已对齐的英文 DPO 模型中的隐式奖励信号,通过跨语言指令-响应配对标注偏好关系,结合迭代 DPO 训练实现高效的多语言偏好对齐,在 X-AlpacaEval 上平均 Win Rate 提升 12.72%。
- Improving MLLM's Document Image Machine Translation via Synchronously Self-reviewing Its OCR Proficiency
-
本文提出 Synchronously Self-Reviewing (SSR) 范式,通过在文档图像翻译过程中让 MLLM 先生成 OCR 文本再生成翻译文本,利用"双语认知优势"缓解微调导致的灾难性遗忘,同时提升 OCR 和文档图像机器翻译(DIMT)的性能。
- Just Go Parallel: Improving the Multilingual Capabilities of Large Language Models
-
系统研究在 decoder-only LLM 训练中加入平行数据对多语言能力的影响:平行数据放在训练末期效果最好且显著优于等量单语数据;LLM 无法自动泛化到训练方向的反向翻译(reversal curse)。
- KnowCoder-X: Boosting Multilingual Information Extraction via Code
-
提出 KnowCoder-X,通过统一的 Python 类表示多语言 IE schema,并引入 IE 跨语言对齐指令微调阶段(含高质量 ParallelNER 数据集),在 64 个 IE 基准上大幅提升跨语言信息抽取性能。
- LACA: Improving Cross-lingual Aspect-Based Sentiment Analysis with LLM Data Augmentation
-
提出 LACA 框架,利用 LLM 为目标语言生成高质量伪标注数据(而非依赖机器翻译),在六种语言上显著提升跨语言 ABSA 性能,在 mBERT 和 XLM-R 上分别平均超过前 SOTA 1.50% 和 2.62%。
- LangMark: A Multilingual Dataset for Automatic Post-Editing
-
发布 LangMark——一个包含 206,983 个三元组、覆盖英语到七种语言的大规模多语言自动后编辑(APE)数据集,并证明 LLM 配合 few-shot prompting 能有效改善专有 NMT 引擎的输出质量。
- LangSAMP: Language-Script Aware Multilingual Pretraining
-
提出 LangSAMP 方法,在多语言预训练中将语言和文字系统 (script) embedding 添加到 Transformer 输出端(而非输入端),使模型主干学到更语言中立的表示,在 500+ 语言的零样本跨语言迁移中一致优于基线。
- LEMONADE: A Large Multilingual Expert-Annotated Abstractive Event Dataset for the Real World
-
发布 Lemonade——基于 ACLED 冲突数据的大规模多语言专家标注事件数据集(39,786 事件,20 种语言,171 个国家,10,707 实体),提出 Abstractive Event Extraction (AEE) 新任务范式,事件参数不限于文本 span 而是归一化为数值/类别/实体,配套 Zest 零样本实体链接系统在 AEL 子任务上 F1=45.7% 大幅超越 baseline 的 23.7%。
- Less, but Better: Efficient Multilingual Expansion for LLMs via Layer-wise Mixture-of-Experts
-
分析 LLM 不同层间的跨语言表征相似度,提出 LayerMoE 按层分配不同数量的新语言专家(高相似层少分配、低相似层多分配),用 60% 更少的专家参数超越 SOTA,并通过在高相似层添加路由分类器进一步缓解灾难性遗忘。
- LexGen: Domain-aware Multilingual Lexicon Generation
-
本文提出LexGen框架,通过在预训练多语言翻译模型的decoder中引入可学习的"领域路由"(Domain Routing)层,实现领域特定和领域通用知识的动态融合,在6种印度语言、8个领域的词典生成任务上超越了NLLB和BLICEr等基线。
- LLMs Can Achieve High-quality Simultaneous Machine Translation as Efficiently as Offline
-
本文提出了一种新范式,通过将源语言和目标语言 token 按延迟要求重排为交错序列来构造 SFT 数据,使 LLM 能够像离线翻译一样高效地完成高质量同声传译(SiMT),在多个基准上达到 SOTA 性能,同时保持离线翻译的原有能力。
- Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models
-
用机制可解释性方法解剖多语言 LLM 的跨语言事实不一致问题,发现模型在大多数层中以语言无关的概念空间处理知识,但在最后几层的"语言转换"过程中失败导致不一致,提出线性快捷方法绕过最后层以提升一致性和准确率。
- Read it in Two Steps: Translating Extremely Low-Resource Languages with Code-Augmented Grammar Books
-
将语法书辅助的极低资源翻译分解为语法规则检索和规则应用两步,提出 Rule-by-Rule 检索策略和代码格式语法规则表示,在壮语翻译上端到端提升 13.1% BLEU。
- M-MAD: Multidimensional Multi-Agent Debate for Advanced Machine Translation Evaluation
-
提出 M-MAD 框架,将 MQM 评估标准解耦为独立维度(准确性、流畅性、风格、术语),在每个维度内进行多智能体正反方辩论,最后由裁判智能体综合各维度结果,在 segment 级别显著超越已有 LLM-as-a-judge 方法,甚至用 GPT-4o mini 就能媲美 SOTA 有参考自动指标。
- M2rc-Eval: Massively Multilingual Repository-level Code Completion Evaluation
-
提出覆盖18种编程语言的大规模多语言仓库级代码补全基准 M2rc-Eval,配合基于 AST 的桶级和语义级细粒度标注,并构建 M2rc-Instruct 指令语料以提升模型性能。
- M3FinMeeting: A Multilingual, Multi-Sector, and Multi-Task Financial Meeting Understanding Evaluation Dataset
-
构建了 M3FinMeeting——首个面向金融会议的多语言(中英日)、多行业、多任务评测基准,包含 600 场真实金融会议的摘要、QA 对抽取和问答三项任务,揭示了当前最先进 LLM 在金融会议理解上仍有显著提升空间。
- M-RewardBench: Evaluating Reward Models in Multilingual Settings
-
构建首个多语言奖励模型评估基准 M-RewardBench(23种 typologically 多样语言、2.87K 偏好实例,覆盖 Chat/Safety/Reasoning/Translation 四类能力),系统评估多种 RM 后发现英语与非英语性能存在显著差距,且 RM 偏好可在语言间发生实质性漂移。
- Machine Translation Models are Zero-Shot Detectors of Translation Direction
-
提出一种基于 NMT 模型翻译概率的无监督翻译方向检测方法:若 \(p(\text{translation}|\text{original}) > p(\text{original}|\text{translation})\),则可零样本判断平行文本的原始翻译方向,NMT 翻译的文档级检测准确率达 96%。
- Marco-Bench-MIF: On Multilingual Instruction-Following Capability of Large Language Models
-
将英文IFEval基准扩展到30种语言并进行文化本地化,揭示LLM在多语言指令遵循中高/低资源语言间25-35%的准确率差距,以及机器翻译数据低估模型性能7-22%。
- MaXIFE: Multilingual and Cross-lingual Instruction Following Evaluation
-
提出 MaXIFE 评测基准,覆盖 23 种语言的 1667 个可验证指令跟随任务,结合基于规则和基于模型的双重评估策略,系统评测 LLM 在多语言和跨语言场景下的指令遵循能力,填补了该方向的评测空白。
- Memorization Inheritance in Sequence-Level Knowledge Distillation for Neural Machine Translation
-
本文首次系统研究了序列级知识蒸馏(SeqKD)中教师模型的记忆行为如何传递给学生模型,发现学生模型虽未直接接触原始训练数据,但其提取式记忆率比基线模型高 57%,幻觉率也增加,并提出 Adaptive-SeqKD 通过在高质量子集上微调教师来缓解这些问题。
- Middle-Layer Representation Alignment for Cross-Lingual Transfer in Fine-Tuned LLMs
-
通过大规模分析 1000+ 语言对(35 种语言、1190 个方向)发现 LLM 中间层具有最强跨语言语义对齐潜力,提出在任务微调中交替优化中间层对比对齐损失,在槽填充(F1 +1.5)、机器翻译(COMET +1.1)和 JSON 生成三大任务上显著提升跨语言迁移,且对未见语言和不同域数据均有效;分别训练的对齐与任务 LoRA 模块可通过权重平均合并使用。
- MiLiC-Eval: Benchmarking Multilingual LLMs for China's Minority Languages
-
构建了首个面向中国少数民族语言(藏语、维吾尔语、哈萨克语、蒙古语)的标准化LLM评估基准MiLiC-Eval,包含9类任务2.4万实例,揭示了当前LLM在非主流书写系统上的严重不足。
- Modular Sentence Encoders: Separating Language Specialization from Cross-Lingual Alignment
-
本文提出模块化多语言句子编码器训练方案:先训练语言特定模块(embedding + 语言适配器 + 句子编码适配器)缓解多语言诅咒,再训练跨语言对齐适配器同时使用平行和释义数据解决不同跨语言任务间的性能权衡,在 4 个任务和 23 种语言上全面优于单体模型训练。
- mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus
-
提出 mOSCAR——首个大规模多语言多模态文档级语料库(163种语言、303M文档、200B tokens、1.15B图片),从 Common Crawl 中提取交错的图文文档,并证明在此数据上训练的多语言 mLLM 能获得显著的 few-shot 学习提升。
- Delving into Multilingual Ethical Bias: The MSQAD with Statistical Hypothesis Tests for Large Language Models
-
提出多语言敏感问答数据集MSQAD(基于Human Rights Watch 17个人权话题、6种语言),通过McNemar检验和PERMANOVA检验两种统计假设检验,系统证明LLM在不同语言下回答相同敏感问题时存在显著伦理偏差:中文/印地语拒绝率最高而西/德语最易生成不当回答,且该偏差在7个LLM中普遍存在。
- Has Machine Translation Evaluation Achieved Human Parity?
-
首次将人类基线引入 WMT Metrics Shared Task 的排名,发现最先进的自动指标经常与人类评估者排名持平甚至更高,但论证了现在声称"人类对等"为时尚早,并讨论了衡量 MT 评估进步的根本困难。
- MTVQA: Benchmarking Multilingual Text-Centric Visual Question Answering
-
构建了 MTVQA——首个覆盖 9 种语言的多语言文本中心视觉问答基准,通过人类专家标注解决翻译方法的"视觉-文本不对齐"问题,评估显示最佳 MLLM(InternVL-2.5,32.2%)与人类表现(79.7%)差距巨大,揭示了多语言文本理解的严峻挑战。
- Multi-perspective Alignment for Increasing Naturalness in Neural Machine Translation
-
提出多视角对齐框架 (Multi-perspective Alignment),同时奖励翻译自然度和内容保留,通过翻译体分类器和 COMET 的联合奖励信号对 NMT 模型进行强化学习微调,使译文词汇更丰富且不损失翻译准确度。
- Multilingual Encoder Knows More Than You Realize: Shared Weights Pretraining for Extremely Low-Resource Languages
-
提出编码器-解码器权重共享框架,通过交替复用编码器权重层和随机初始化层构建解码器,将多语言编码器CINO高效扩展为seq2seq模型XLM-SWCM,在藏维哈蒙四种极低资源语言上以不到0.5B参数大幅超越mBART和13B LLaMA。
- Do Large Language Models Have an English Accent? Evaluating and Improving the Naturalness of Multilingual LLMs
-
本文揭示多语言 LLM 在非英语语言生成中存在"英语口音"——词汇和句法上偏向英语模式,提出了基于 JSD(词汇分布)和 WL 图核+MMD(句法依赖树)的语料级自然度指标,并通过 DPO 对齐方法有效提升目标语言的自然度。
- Data Quality Issues in Multilingual Speech Datasets: The Need for Sociolinguistic Awareness and Proactive Language Planning
-
对三大公开多语言语音数据集(Common Voice 17.0、FLEURS、VoxPopuli)进行覆盖 40+ 种语言的系统质量审计,将问题分为可程序化修复的"微观问题"和需语言学介入的"宏观问题",发现低制度化语言面临的宏观问题尤为严重,并提出融入社会语言学意识的 5 步数据集创建指南。
- NameTag 3: A Tool and a Service for Multilingual/Multitagset NER
-
本文介绍 NameTag 3,一个开源的多语言、多数据集、多标签集命名实体识别工具和云服务,基于微调的预训练语言模型,单个 355M 参数模型在 15 种语言的 21 个测试集上达到 SOTA,同时比 DeepSeek-R1 等 LLM 快 10,000 倍以上。
- Probing LLMs for Multilingual Discourse Generalization Through a Unified Label Set
-
本文提出首个跨框架、跨语言的统一篇章关系标签集(17类),并通过对23个LLM的注意力探针实验,证明多语言LLM能够在中间层编码跨语言可迁移的篇章级表征,且多语言训练和模型规模共同提升泛化能力。
- Registering Source Tokens to Target Language Spaces in Multilingual Neural Machine Translation
-
提出 Registering 方法:在源语言和目标语言 token 之间插入一组目标语言标记(registers),通过修改注意力掩码使目标生成仅依赖 registers 的激活,彻底解决多语言翻译中的 off-target 问题,使小模型 MITRE-913M 超越 NLLB-3.3B。
- Semantic Aware Linear Transfer by Recycling Pre-trained Language Models for Cross-Lingual Transfer
-
提出 SALT(Semantic Aware Linear Transfer),通过为每个非共享词表 token 基于语义相似的共享 token 对构建独立的最小二乘变换矩阵,将目标语言 PLM 的丰富嵌入表示迁移到英语中心 LLM 的嵌入空间,在下游任务、持续预训练收敛速度和跨语言理解上均优于现有方法。
- SeqPO-SiMT: Sequential Policy Optimization for Simultaneous Machine Translation
-
将同步机器翻译(SiMT)建模为多步序列决策问题,提出 SeqPO-SiMT 策略优化框架,融合翻译质量和延迟的奖励信号,在 7B LLM 上实现 SiMT 性能媲美离线翻译的强模型。
- ShifCon: Enhancing Non-Dominant Language Capabilities with a Shift-based Multilingual Contrastive Framework
-
提出 ShifCon 框架,通过将非优势语言的表示 shift 到优势语言子空间以获取更丰富的模型知识,再 shift 回原语言子空间进行生成,结合多语言对比学习,显著提升低资源语言的表现。
- SIFT-50M: A Large-Scale Multilingual Dataset for Speech Instruction Fine-Tuning
-
本文构建了 SIFT-50M,一个包含 5000 万条样本、覆盖 5 种语言的语音指令微调数据集,利用 LLM 和专家模型从公开语音语料中自动生成多样化的语音理解与可控语音生成指令,并训练出 SIFT-LLM 在指令跟随基准上超越现有语音文本 LLM。
- Statement-Tuning Enables Efficient Cross-lingual Generalization in Encoder-only Models
-
将 Statement-Tuning 方法扩展到多语言场景,证明仅 276M 参数的 mDeBERTa 编码器模型通过多语言 Statement-Tuning 微调后,能在未见任务和未见语言上实现跨语言零样本泛化,在多个 NLU 任务上匹敌甚至超越 70B+ 参数的生成式 LLM。
- Team ACK at SemEval-2025 Task 2: Beyond Word-for-Word Machine Translation for English-Korean Pairs
-
本文在 SemEval-2025 Task 2 中系统评估了 13 个模型(LLM + 传统 MT)在英韩实体密集文本翻译上的表现,通过自动指标和双语人工评估揭示了 LLM 虽优于传统 MT 但在需要文化适应的实体翻译上仍普遍失败,并构建了翻译错误分类体系。
- The Esethu Framework: Reimagining Sustainable Dataset Governance and Curation for Low-Resource Languages
-
提出 Esethu 框架——一种社区驱动的可持续数据治理方案,通过创新的社区中心化许可证实现数据收益的循环再投资,并以 isiXhosa 语音数据集 ViXSD 作为概念验证。
- The Hidden Space of Safety: Understanding Preference-Tuned LLMs in Multilingual Contexts
-
本文系统分析了偏好调优(RLHF/DPO 等)对 LLM 内部表示空间在多语言场景下的影响,发现对齐机制在英语上能有效分离有害/无害内容的隐空间表示,但在印地语、中文、德语等非英语语言上效果显著退化,揭示了当前对齐方法存在严重的单语偏差问题。
- THOR-MoE: Hierarchical Task-Guided and Context-Responsive Routing for Neural Machine Translation
-
提出THOR-MoE框架,通过层级任务引导路由(自动预测领域/语言并生成混合任务表示来选任务级专家子集)和上下文响应路由(将全局上下文注入token表示以辅助专家选择),在多领域和多语言翻译中以更少激活参数获得显著性能提升。
- Towards Global AI Inclusivity: A Large-Scale Multilingual Terminology Dataset (GIST)
-
构建首个大规模多语言 AI 术语数据集 GIST(约 5K 术语、5 种语言),采用 LLM 抽取 + 人工众包翻译 + LLM 选择的混合框架,并通过 prompting 后翻译优化方法在 BLEU/COMET 等指标上一致提升机器翻译中 AI 术语的翻译质量。
- Trans-Zero: Self-Play Incentivizes Large Language Models for Multilingual Translation
-
提出 Trans-Zero 自博弈框架,仅使用单语数据,通过遗传蒙特卡洛树搜索(G-MCTS)在多语言翻译过程中探索语义一致的候选翻译,结合偏好优化实现无平行数据的多语言翻译训练,性能可媲美大规模监督微调方法。
- Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction
-
提出 TransFusion 框架,通过在推理时先将低资源语言文本翻译为英语、在英语上进行信息抽取标注、再用融合模型将英语标注与原文结合来生成最终预测,在50种语言的零样本跨语言IE任务上显著优于基线(MasakhaNER2平均F1从47.9提升到62.4)。
- Did Translation Models Get More Robust Without Anyone Even Noticing?
-
通过合成噪声和社交媒体文本实验发现,近年大规模预训练翻译模型(如 TowerInstruct 13B、GPT-3.5)在未使用任何专门鲁棒性训练技术的情况下,对多种字符级噪声的鲁棒性远超传统 NMT 模型(OPUS),且源端纠错+LLM 翻译的组合可进一步超越 GPT-3.5。
- Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu
-
系统研究了LLM上下文机器翻译中各类语言资源(词典、平行语料、语法书、CoT提示)对翻译质量的影响,以满语为案例发现高质量词典和检索的平行例句最有价值而语法书几乎无用,并通过字符加密实验证明LLM主要依赖上下文学习能力而非先验知识,最后展示了利用上下文翻译生成合成平行数据来训练传统NMT模型的有效性。
- Unveiling the Power of Source: Source-based Minimum Bayes Risk Decoding for Neural Machine Translation
-
提出 source-based MBR (sMBR) 解码方法,利用释义/回译生成的准源端句子作为"支持假设",结合无参考 QE 指标作为效用函数,首次在 MBR 解码中完全依赖源端信息,在经典和 LLM 两种 NMT 设置下均优于 QE reranking 和标准 MBR 解码。
- Watching the Watchers: Exposing Gender Disparities in Machine Translation Quality Estimation
-
本文系统揭示了机器翻译质量评估 (QE) 指标中的性别偏差:在源语言性别模糊时阳性形式得分高于阴性形式,在有上下文线索时阴性形式的错误率更高,且偏差会通过数据过滤和质量感知解码传播到下游 MT 系统。
- X-WebAgentBench: A Multilingual Interactive Web Benchmark for Evaluating Global Agentic System
-
提出 X-WebAgentBench——一个多语言交互式网页基准,用于评估语言智能体在多种语言下的规划和交互能力,并评测了多种 LLM 及跨语言对齐方法,发现即使 GPT-4o 结合跨语言技术也无法达到令人满意的结果。
- ZIPA: A Family of Efficient Models for Multilingual Phone Recognition
-
提出 Zipa 系列高效语音模型,基于 Zipformer 骨干和 IpaPack++(17,132 小时多语言标注数据),在多语言音素识别上达到 SOTA,64M 参数模型即超越现有 300M 模型,并通过噪声学生训练在 4000+ 种语言上进一步提升。