Automated CAD Modeling Sequence Generation from Text Descriptions via Transformer-Based Large Language Models¶

会议: ACL 2025
arXiv: 2505.19490
代码: https://jianxliao.github.io/cadllm-page/
领域: 文本生成
关键词: CAD生成, 工业设计, 文本到建模, LLM, 自动化设计

一句话总结¶

提出一个语言引导的 CAD 设计自动化框架——通过半自动数据标注流水线、Transformer CAD 生成器（TCADGen）和 LLM 增强模型（CADLLM）三个创新，从文本参数和外观描述自动生成 CAD 建模序列，在精度和效率上超越传统方法。

研究背景与动机¶

领域现状：CAD 设计是工业制造的核心环节但耗时且需要专业知识。LLM 与 CAD 的结合是趋势，但现有研究主要利用 LLM 的数据合成能力，生成的设计数据精度不足。
现有痛点：(a) LLM 直接生成 CAD 模型缺乏精度——工业设计对参数精度要求极高；(b) 设计师难以用简单语言/视觉描述引导 LLM 生成合理 CAD 模型；(c) 缺乏高质量的文本-CAD 配对训练数据。
核心矛盾：LLM 擅长语言理解但在精确参数预测上较弱；小型专用模型参数精确但缺乏语言理解能力——如何结合两者？
本文要解决什么？ 构建从文本描述到精确可编辑 CAD 建模序列的全自动化流水线。
切入角度：用小型 Transformer 模型（TCADGen）做精确的参数预测，用 LLM（CADLLM）利用 TCADGen 的置信度分数改进生成序列——大小模型协作。
核心idea一句话：小模型做精确参数预测 + 大模型做序列优化 = 高质量 CAD 生成。

方法详解¶

整体框架¶

三组件协作：(1) 半自动数据标注——用 LLM+VLLM 从 CAD 文件自动生成参数描述和外观描述；(2) TCADGen——Transformer CAD 生成器，通过双通道特征聚合预测建模序列；(3) CADLLM——用 TCADGen 的置信度分数增强 LLM 的序列生成能力。

关键设计¶

半自动数据标注管线:
做什么：为 CAD 文件自动生成文本描述
核心思路：用 LLM 从 CAD 参数表生成参数描述，用 VLLM（如 GPT-4V）从渲染图生成外观描述
设计动机：高质量训练数据是瓶颈——人工标注 CAD 文件极其昂贵
TCADGen（Transformer CAD Generator）:
做什么：从文本描述预测 CAD 操作序列和参数
核心思路：双通道特征聚合——一通道处理参数描述（数值特征），另一通道处理外观描述（语义特征），融合后预测操作类型和参数值
设计动机：参数描述和外观描述包含不同类型的信息，需要分别处理再融合
CADLLM（LLM增强的CAD生成）:
做什么：利用 LLM 改进 TCADGen 的输出
核心思路：将 TCADGen 的预测序列及其置信度分数作为 LLM 的输入，让 LLM 修正低置信度的预测
设计动机：TCADGen 对某些操作的预测不确定——LLM 的推理能力可以帮助修正

损失函数 / 训练策略¶

TCADGen：操作类型分类损失 + 参数回归损失
CADLLM：SFT 在标注的 CAD 序列数据上

实验关键数据¶

主实验¶

方法	操作类型准确率	参数精度	整体效率
传统方法	中	中	低
LLM 直接生成	低	低	中
TCADGen only	高	高	中高
TCADGen + CADLLM	最高	最高	最高

关键发现¶

大小模型协作比单独使用任一模型效果好——小模型提供精确参数，大模型修正整体序列
TCADGen 的置信度分数是 CADLLM 改进的关键——告诉 LLM "哪里需要修正"
半自动数据标注使训练数据规模扩大了数量级

亮点与洞察¶

大小模型协作的范式在 CAD 领域是合理的——精确参数需要专用模型，整体规划需要 LLM。
置信度分数作为协作接口巧妙——小模型通过置信度告诉大模型"我不确定的地方由你来判断"。
半自动标注管线对数据稀缺的工业领域有通用价值。
该框架可迁移到其他需要精确参数的生成任务（如电路设计、化学合成路线）。

局限性 / 可改进方向¶

CAD 操作序列的表示有限——复杂曲面等建模操作未覆盖
数据集规模仍然有限——工业级 CAD 文件的多样性远超当前数据集
未与商业 CAD 软件的自动化功能对比

评分¶

新颖性: ⭐⭐⭐⭐ 大小模型协作+置信度接口+半自动标注的组合新颖
实验充分度: ⭐⭐⭐⭐ 消融+对比+实例展示，但数据集规模有限
写作质量: ⭐⭐⭐⭐ 框架图清晰，方法描述详细
价值: ⭐⭐⭐⭐ 对工业设计自动化有实用价值