2. Linux.do
  3. 让 AI 真正“看懂”你的文档，分享一下最近研究的语义+视觉 RAG 系统设计

让 AI 真正“看懂”你的文档，分享一下最近研究的语义+视觉 RAG 系统设计

zhiweio 2026-07-07 12:15 1

How it work



传统 RAG 只看文字，我通过融合 Knowhere 语义检索 + PixelRAG 像素级视觉感知，实践了一种多模态知识库。


感谢以上两个开源项目。


一些截图：







演示视频：


https://youtu.be/Bj6lI48p7Zw

最新回复 (4)
  • tangsong404 07-07 13:18
    1楼

    有没有用过的佬友分享一下体验感受

  • lzd2 07-07 13:28
    2楼

    PixelRAG



    这个原理是截图然后按照1024分辨率 直接把图片分成多个图片


    然后用向量匹配来找相近图片，最后需要支持图片的大模型来作答是嘛

  • zhiweio 楼主 07-07 13:40
    3楼

    不好意思，提醒一下：分享 RAG 设计，不是生产直接可用，企业落地得二开。

  • zhiweio 楼主 07-07 13:47
    4楼

    视觉检索部分类似你讲的，依赖 PiexlRAG 核心模块内置的 Qwen3-VL-Embedding-2B 模型索引和检索，检索到的图片可以丢给 VLM 模型作答。


    问答模块只为演示，核心还是为 Agent 提供检索服务，检索出匹配的图文数据再实现业务需求。

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐