原来上下文超过200k之后衰减这么夸张？

Myth 2026-08-21 12:27 1

评测数据基本超200k之后得分都腰斩了，那这样的模型跑分结果还有可信度吗

搞1M上下文也没什么意义了徒增费用

感兴趣的可以研究一下

最新回复 (14)

hubiao 08-21 13:05

4楼

# 将上下文窗口设置为 372,000

model_context_window = 372000

# 将自动压缩阈值设置为 272,000

model_auto_compact_token_limit = 272000

这个就是最理想的

ld.so 08-21 13:18

5楼

这个压力测试有点意思，基本就是逼着模型感官超载。实际情况下不会这么差，除非你一个对话里N个话题拼命横跳：

AI: 这信息量有点大
Jamie 08-21 13:25

6楼

就想让ai帮我读电子书怎么办，都是很长的
admini 08-21 13:27

7楼

没那么严重，测试方式和测试数据样本不全面。当然大上下文是要不断探索的领域和解决模型幻觉一样重要。
时牧 08-21 13:32

8楼

是啊，所以gpt在codex用只需要258k上下文
7xWEcQ 08-21 13:37

9楼

这样设置的话那个372没意义吧，272就压缩了，要么就全默认得了。要减少压缩频率增加点上下文长度，正常不是372+353吗。
alizoed 08-21 13:39

10楼

要比难道不应该对比压缩后和不压缩的吗

比如一个是采用200k 压缩，一个是纯靠长上下文，看哪个好
紫剑 08-21 13:40

11楼

一直以来都是这样，所以基本不看有多少上下文，提早压缩。ds我感觉100就得压缩
时牧 08-21 13:40

12楼

Tibo 7月13日的发帖原文

7月18日 PR #33972 正式把 bundled metadata 锁死在 272000

之后直到现在（2026-08），默认仍是 272k raw / 258.4k effective
陈小爬 08-21 13:41

13楼

cc里我设置的272k压缩，但是有33k的缓冲，在239就自动压缩
nianshou 08-21 13:44

14楼

但是压缩后也会损失质量。你得对比一下1m和压缩究竟哪个损耗最大