DeepSeek 的 TTFT 速度极快

maomaosang 2026-07-29 11:38 1

豆包从 1.5pro 升级到 seed2lite 之后,ttft 的 p99 基本翻了倍,从 3 秒升到 6 秒,我们业务对 ttft 极为敏感,监控都起飞了,用户投诉也来了,没辙了只能给用户降智换成 mini 模型。


正好今天有业务需要测一下其他模型,猛的发现 DeepSeek 在这方面表现卓绝,flash/pro 的 ttft avg 都可以做到 0.3 秒以内,比各厂的 flash 都要快。


强烈推荐对 ttft 敏感的业务使用!

最新回复 (2)
  • XenoGear 07-29 12:47
    1
    dpsk 的 prefix cache 确实和其他家比有代差级别的优势,甚至缓存命中时的价格都低很多
  • yh7gdiaYW 07-29 19:54
    2
    那最近应该优化过了,刚发布时这是 ds v4 的主要缺陷之一
* 帖子来源V2EX
返回