2. Linux.do
  3. 做rag知识库的时候，切片chunking用什么包？

做rag知识库的时候，切片chunking用什么包？

蜻蜓队长 2026-07-23 16:11 1



各位佬用哪个包切片啊？然后embedding模型用哪个

最新回复 (8)
  • VibeKoder 07-23 16:17
    1楼

    一般都是langchain里各种各样的textsplitter直接切吧，看自己需求，是固定窗口还是滑动还是切句子，embedding用bge的zh-v1.5

  • 蜻蜓队长 楼主 07-23 16:23
    2楼

    佬不导包吗？自己写函数是吗（纯新手） ^-^

  • yuancjun 07-23 16:27
    3楼

    用这个 https://mastra.ai/docs/rag/chunking-and-embedding

  • Eric12 07-23 16:30
    4楼

    看你数据~

    如果是完美的markdown格式，直接使用markdown标题作为chunking，召回准确率非常好~

    如果是plain文本，那可能使用定长、overlap~

    如果是PDF+多模态，那就看天意吧~

  • 15319363681 07-23 16:32
    5楼

    langchain里面不是有切片的方法嘛，我记得

  • 黑暗选择光明 07-23 17:19
    6楼

    bge的zh目前对英文支持咋样？

    我测试的文档是中文占80左右

  • VibeKoder 07-23 18:14
    7楼

    直接vibe coding啦，还要自己写代码太麻烦了

  • VibeKoder 07-23 18:14
    8楼

    我也没测过，很久都没做过和rag相关的业务了

* 帖子来源Linux.do
附近帖子
返回
飞读
随机推荐