Subquadratic发布 SubQ 1.1 Small , 12M超长上下文

前提：Subquadratic推出全球首个全亚线性大模型SubQ，1200万上下文长度

长久以来，企业级AI面临一个共同难题：难以对完整的庞大资产（如整个代码库、大型文档集或财务报表）进行直接推理。传统模型由于其底层密集注意力机制的计算量随上下文长度呈二次方（O(n^2)）增长，导致处理超长文本成本高昂，只能依赖信息检索或分块等权宜之计。为了打破这一计算瓶颈，SubQ 正式发布了采用次二次稀疏注意力（SSA）架构的 SubQ 1.1 Small 模型。

在大海捞针测试中，该模型在 1M、2M、6M 甚至高达 12M Token 的长度下均实现了近乎完美的精准检索，并且将注意力计算量减少了近 1000倍。SSA 机制用呈线性扩展的稀疏形式取代了 O(n^2) 的密集注意力。在处理 1M Token 时，SubQ 的计算需求比传统密集注意力低 64.5倍，运行速度比 FlashAttention-2 快 56倍。在优化长上下文的同时，模型保留了强大的通用推理能力。在 GPQA Diamond（85.4%）和 LiveCodeBench（89.7%）等基准测试中，其得分紧逼顶级前沿模型，远超同级别的中小型模型。

模型基于现有的开源前沿模型，将其密集注意力替换为 SSA。並通过阶段性的上下文扩展（262K 至 2M），并在超长数据（书籍、长文档、完整代码库）上进行了约 1万亿 Token 的持续预训练。SSA 的高效性让团队能够将百万级 Token 实验作为常规流程，从而通过上百次实验精准平衡了长短上下文的任务能力。

SubQ 专为需要跨文本综合推理且不容碎片化的工作流设计：

1. 能同时处理财报、合同和内部记录，进行全局推理，而非孤立地总结单个文档。


2. 直接在单一上下文中保留整份长达数十页的合同，精准追踪前后文的条款定义与例外说明，避免传统检索丢失逻辑关联的问题。


3. 将整个代码库（包括逻辑、模块和依赖关系）一次性加载到上下文窗口中，实现架构级别的推理、跨文件重构和依赖追踪。

SubQ 1.1 Small 是该系列中体量最小的模型。官方将在未来几周内与首批设计合作伙伴展开合作，并计划在今年晚些时候正式推出支持 2M 到 12M Token 的全线模型产品。