2. Linux.do
  3. 关于LLM理解/设计机械设计模型和图纸的讨论

关于LLM理解/设计机械设计模型和图纸的讨论

SumizomeAi 2026-06-26 09:39 1

如题, 当前公司想要将机械设计的模型(*.prt,*.asm,*.drw,*.stp等)及CAD图纸(*.dwg,*.dxf等)全部归档并整理为知识库


查了一会发现类似的项目还比较少, 求助下万能的佬友们有没有了解过能满足全部或部分需求的类似项目? 我大概梳理了一下比较直观的需求:



  • SW 模型理解/分析 → 输出 Markdown 文件

  • CAD 图纸理解/分析 → 输出 Markdown 文件

  • SW 模型 / CAD 图纸相关知识库(RAG? 或上面两项转换出来的 Markdown 文件知识库?)


感谢各位佬友的讨论, 下面有佬友给出了部分相关项目名, 如果感兴趣的各位可以去看看



github上看到过freecad的mcp项目，那么LLM就应该是可以理解CAD的。一个想法是先转通用格式，stp/igs等，之后导入freecad（或者其他有LLM接口的开源cad项目例如Vibe CAD ），那么LLM就可以理解，之后再做知识库供查询、修改或生成新设计。


顺着这个思路我去检索了一下，已经有MechVQA（对机械图、工程图进行识别评估） DesignQA（对工程图规则理解）等项目，MechRAG应该是你最终想要的知识库系统，让LLM能统一访问和分析来自不同工程软件的多源异构数据。



如果有做相关工作的佬友看到这个帖子欢迎一起分享一下观点和经验, 这个领域目前看来还是比较稚嫩的

最新回复 (19)
  • 北纬23 06-26 09:41
    1楼

    我觉得不可能，CAD 不可能被整理为 Markdown 文件，还能被 LLM 识别；先不谈cad to md能不能跑通，起码我见得到的CAD图纸都经不起仔细推敲的，充满逻辑矛盾和冲突的东西，是最不适合给AI调用的

  • SumizomeAi 楼主 06-26 09:46
    2楼

    嗯…领导出差看到有些设计院正在做这方面的探索, 所以自己也想做, 这就比较头疼了

  • user1937 06-26 09:49
    3楼

    目前来说应该做不到吧，从本质上讲，设计模型图纸，cad图纸基本上都是属于公司内部资产，模型厂商基本都拿不到这些数据来做模型的预训练。这种医学图像差不多一个道理的，都是属于垂直领域。目前市面上的都是通用模型吧。


    纯个人观点，可能有误。

  • SumizomeAi 楼主 06-26 09:50
    4楼

    我主要观察到现在确实缺少这方面的实际应用和项目, 所以来问看看

    而且机械建模/制图相对来说没有工程制图的要求高, 之前看了一些帖子是讨论工程制图的, 感觉工程安全性是 AI 没法理解和保证的, 所以想看看机械行业能不能引入这块内容

  • SumizomeAi 楼主 06-26 09:51
    5楼

    所以本地 Training 特化模型的话…? 不过这样成本太高了, 估计领导也不会出这个钱, 毕竟只是设备厂…

  • 北纬23 06-26 09:56
    6楼

    如果你是看到设计院在弄这个，就应该赶紧不做呀 ^-^；设计院里现在推AI的人和之前推BIM的人就是同一波人，除了做PPT，啥也不会，不会有任何结果的。。。BIM现在这个泡沫破了，赶紧推图纸标准化，知识库RAG化

  • SumizomeAi 楼主 06-26 09:59
    7楼

    啊这, 以前没接触过设计院, 不懂里面的弯弯绕绕

  • user1937 06-26 10:04
    8楼

    我觉得你可以换一个思路，自己整理数据集，然后做模型微调的话，成本非常高。而且是一个黑盒，意味着你的投入不等于你的产出。可以很粗糙的理解为抽卡。


    我觉得你可以让现在比较厉害的ai。Coding Agent，例如 codex，Claude code。接满血版的大模型。去分析一下这种设计模型文件和cad图纸，底层都是用什么计算机语言渲染出图像的。

    如果现阶段的大模型，懂这门语言。那你可以尝试把你哪些不敏感的cad或者设计模型导出源代码给ai。试试看他能不能理解。


    如果能理解的话，就好做了

  • SumizomeAi 楼主 06-26 10:10
    9楼

    我其实有看到一些项目是做辅助设计之类的工作的(FreeCAD/Solidworks之类的MCP工具)…但大多是半成品

    看相关讨论有些人说AutoCAD的接口很烂, 会导致 AI 很难去读懂图纸及使用工具, 头疼啊

  • 老火面 06-26 10:11
    10楼

    纯机械结构的CAD图纸可能还好点，毕竟有很多行业通用设计标准AI可以参考。更难的是P&ID图纸，这玩意压根就没啥行业通行标准，基本是工艺设计人员个人想怎么画就怎么画。但这和普通AI绘图又不一样，普通绘图能看就行了，这个是真要拿去在三维真实世界里供项目落地的。

  • Chambo Wu 06-26 10:14
    11楼

    github上看到过freecad的mcp项目，那么LLM就应该是可以理解CAD的。一个想法是先转通用格式，stp/igs等，之后导入freecad（或者其他有LLM接口的开源cad项目例如Vibe CAD ），那么LLM就可以理解，之后再做知识库供查询、修改或生成新设计。


    顺着这个思路我去检索了一下，已经有MechVQA（对机械图、工程图进行识别评估） DesignQA（对工程图规则理解）等项目，MechRAG应该是你最终想要的知识库系统，让LLM能统一访问和分析来自不同工程软件的多源异构数据。

  • SumizomeAi 楼主 06-26 10:20
    12楼

    主要是公司图纸基本都是纯机械的, 所以才会想着来问一下

  • SumizomeAi 楼主 06-26 10:25
    13楼

    感谢佬友给出的项目名, 我这边也在搜论文看看有没有相关内容, 起码得出个可行性分析再说行不行 ^-^

  • Crixs 06-26 10:33
    14楼

    三维/二维图纸让 LLM 理解现在还是比较难，这块做的最厉害的是国内的自动驾驶，必须要引入世界模型，否则 LLM 无法从本质上理解空间维度。

  • SumizomeAi 楼主 06-26 10:36
    15楼

    那就得自训练了吧…对于普通公司来说投入还是太高了, 而且数据量大概也不够 ^-^

  • Free_Bird 06-26 10:37
    16楼

    之前好像看到过有cad的mcp？ 官网我记得好像也有推mcp不过可能不是cad专用的

  • SA突袭 06-26 10:51
    17楼

    这个啥意思，不是很懂，佬能详细说一下吗，还挺感兴趣的。

  • SumizomeAi 楼主 06-26 11:56
    20楼

    查了下, 发现AUTODESK有官方MCP, 不过是云服务的, 关于 AutoCAD 的 MCP, 官方似乎在 blog 中有提到相关信息:




    Building for Agentic AI: What’s New in Autodesk Platform Services | Autodesk Platform Services


    至于 SolidWorks 那边, 官方走的是自训练模型+闭源助手, 感觉只能靠 API 进行操作了

  • SumizomeAi 楼主 06-26 11:57
    21楼



    补一张 AI 翻译的译文

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐