如何让现在的模型处理超长的文本?

Yohji1 2026-10-02 21:27 1

有客户找我,要求是需要我做一个SKILL。

他提供了11份pdf以及一个Gemini网页端的会话记录,约40多万字。

这么大的体量,如何让模型消化——理解——提炼?这是不是有点难以做到?

我的现有思路是:

1.针对两种不同性质的文本做不同要求的量化评价标准

2.开子代理做上下文隔离,分批次处理文本

3.子代理产出符合评价标准的文档,这一步只做消化理解,不做提炼

4.将子代理产出的内容交给主会话模型,基于我的上下文背景要求去做提炼总结


我遇到的问题:

1.不同的pdf之间存在关联,如果开子代理的情况下,会出现隔断

2.Gemini的那个会话是长期使用的产出,时间跨度太长,模型分析起来十分困难啊

3.我担心最终的SKILL产出仍然是不小的体量,导致最终应用起来时,对模型的上下文负担太大,但太过于浓缩的话,又不好保证效果

4.处理文本前的评价标准都不好定

最新回复 (8)
  • 治生 10-02 21:28
    1楼

    notebooklm 这种思路应该不错吧

  • Yohji1 楼主 10-02 21:29
    2楼

    像这种问题,是不是本身就不适合SKILL这个形式来做?

    但考虑到长期复用的话,不用SKILL,也无法保证将来客户切换不同会话/模型时的稳定性啊

  • Yohji1 楼主 10-02 21:29
    3楼

    是个想法,notebooklm里,确实允许用户上传大量的信息

  • 挨个搞 10-02 21:36
    4楼

    总共40万字?

    如果只是要求理解提炼这样的任务

    直接全部转成md文档

    aistudio.google 提交

    不要用gemini网页版,也不要用反重力

    使用pro 模型


    40万字轻轻松松啦

  • Yohji1 楼主 10-02 21:48
    5楼

    Gemini吗?我担心Gemini的注意力有问题。

    还有为什么不推荐在反重力用呢

  • 挨个搞 10-02 22:00
    6楼

    担心注意力问题,就完成一个回答,开一个新会话


    gemini和反重力都有自己的内嵌的提示词无法更改

    会影响回答质量


    aistudio 每个账号都有免费的测试额度

    可以多测试对比


    据我用gemini进行地方志这种任务的经验来看

    直接塞原文,比什么图谱啊数据库啊向量啊效果好且稳定


    如果原文实在太大,就让gemini分批挑出相关原文

    过滤到合适大小后再塞

  • Yohji1 楼主 10-02 22:01
    7楼

    ai studio我经常用,里面的Gemini智商会比agy里高一些吗

  • 挨个搞 10-02 22:03
    8楼

    ai studio 准确的说,更听话些

* 帖子来源Linux.do
返回