2. Linux.do
  3. rag知识库做出来后，回答时间慢是怎么回事

rag知识库做出来后，回答时间慢是怎么回事

蜻蜓队长 2026-08-28 11:30 1

用的Neo4j+GraphRAG 最后问了下AI 看下思考用时是6.29秒 这么怎么回事各位佬，这个时间正常吗？可以再快一点吗？

最新回复 (10)
  • LlNUS 08-28 11:34
    1楼

    输出多少token啊，用的什么模型啊？


    佬不讲清楚没法评判 ^-^

  • 银天 08-28 11:38
    2楼

    亲，需要给您算一卦吗

    赛博算卦！启动！


    我猜是算出来是向量数据库查询慢

  • leven1993 08-28 11:43
    3楼

    之前也做了个，接的硅基的模型，返回数据特别慢，体验感太差了 ^-^

  • Lemonade 08-28 11:46
    4楼

    thinking 模型就是慢，你自己部署也是慢。

    接可观测系统让 AI 分析优化

  • AoManoh 08-28 11:48
    5楼

    自部署模型的话那大概率是自部署模型的问题，这个没办法，自己调优。用api，那就是思考程度太深了。但是说实话，这个时间应该是能接受的，用户层多做动画减少时间等待的顿感就行。

    至于什么input啥的，影响有，但绝对不是主要原因，这种一般都是ms级别的时间开销

  • 蜻蜓队长 楼主 08-28 12:49
    6楼

    是自部署模型 问题出现在模型身上吗

  • 蜻蜓队长 楼主 08-28 12:49
    7楼

    用的deepseek v4 flash

  • 蜻蜓队长 楼主 08-28 12:50
    8楼

    向量数据库要怎么选型啊 佬 有区别吗

  • 蜻蜓队长 楼主 08-28 12:50
    9楼

    可观测系统是啥佬 是相当于一个别的服务吗

  • huahai23 08-28 14:01
    10楼

    看一下你的api调用时间，是embed模型慢，还是llm慢？

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐