长高下文模子越来越能"记"，但信得过让它们跑到线上时，启程点顶不住的时常不是算力，而是KV Cache。
每生成一个新 token，模子都要回读越来越长的历史 Key 和 Value。高下文越长、batch 越大，KV Cache 对显存容量和显存带宽的消费就越显著。
这亦然为什么 KV Cache 量化成了长高下文 serving 的中枢问题：压得不够，显存撑不住；压得太狠，推理质地又容易崩。
Together AI、悉尼大学和 UIUC 的磋议团队，为此提议了一种面向果真 serving 的 2-bit KV Cache 量化决策——OSCAR。
模子不再仅仅把 K/V 张量压小，而是围绕 attention 信得过会使用的标的来作念旋转、编订和分组，让量化瑕玷尽量逃避模子最明锐的部分。
在约 2.28 effective bits per KV element 的预算下，OSCAR 仍能接近 BF16；在 Qwen3-4B-Thinking 上，比拟全层 3-bit K/V TurboQuant，最高提高 40.1 分。
这意味着，KV Cache 压缩不再仅仅"少占显存"，而是运转参加果真长高下文奇迹系统的联想中枢。
不是更会"压缩向量"，而是运转保护 attention
当年好多 KV Cache 量化要领，热心的是怎样更好地复原 K/V 向量自己。
但在低比特场景里，这个打算并不老是等价于更好的生成质地。
原因很径直：attention 信得过消费的是 Key 和 Query 之间的匹配关系，以及 Value 被提防力权重加权后的输出。K/V 重建瑕玷看起来不大，并不代表 attention logits、attention block output 和后续 hidden state 不会被放大偏移。
2-bit INT 只消 4 个突破品级，而 KV activation 中又时常存在少数幅值很大的 outlier channel。
如若量化法子被这些极点通谈牵着走，大部分平淡值会被挤到很窄的区间里，attention 漫衍也会随着偏。
平庸 Hadamard 旋转不错把 outlier 打散，却不知谈哪些标的对 attention 更重要。
OSCAR 的中枢变化就在这里：
它不再只问"何如把 K/V 向量复原得更像"，而是问"何如让 attention 读到的重要信息尽量不变"。
△只用 K/V 重建瑕玷，容易低估果真瑕玷传播 OSCAR 把旋转瞄准 attention
OSCAR 的要领不错抽象成一句话：
用 attention-aware covariance 来决定 K/V 应该何如旋转。
具体到Key，量化瑕玷和会过 QK ᵀ参加 attention logits，因此 OSCAR 使用 query covariance，也便是 Q ᵀ Q，来决定 Key 的旋转标的。
具体到Value，瑕玷会先被 attention score 加权，再参加 attention 输出，因此 OSCAR 使用 score-weighted value covariance，也便是 V ᵀ S ᵀ SV，来决定 Value 的旋转标的。
离线校准阶段，系统用极少样本臆测每一层、每一个 head 的这些 covariance，并生成固定的旋转矩阵和 clipping 阈值。
推理阶段，这些参数径直复用，不需要任务级微调，也不需要在线学习。
最终旋转不错写成：
R=U · Hadamard · bit-reversal
其中，U 肃穆对都 attention 联系标的，Hadamard 用来摊平 outlier 能量，bit-reversal 让 INT2 分组更平衡，幸免某个 group 被少数特地通谈主导。
也便是说，OSCAR 不是节略"加一个旋转"，而是把旋转、编订和分组都放进 attention 质地这个打算里。
△从离线校准到在线推理的 pipeline
OSCAR 的另一个重要点，是它莫得停留在离线量化评测里。
它还是接入 SGLang 的奇迹旅途，在运行时和解一个三段式 token pool：
BF16 sink（64 tokens）｜INT2 history｜BF16 recent（256 tokens）
起首的 attention sink token 和最近窗口 token 无间用 BF16 保存，用来保护 attention sink 与最近高下文。
中间最长、占比最大的历史 KV，则保存为旋转和编订后的 INT2。
新 token 会先写入 recent window。随着解码股东，最老的 recent token 会被交融 Triton kernel 处理，完成 rotate、clip、quantize 和 pack，然后左迁参加 INT2 history。
存储上，每 4 个 2-bit 数值被打包进 1 个 byte。
decode 阶段，OSCAR 在 GPU 上分袂处理 BF16 段和 INT2 段：
INT2 kernel 肃穆 unpack、scale/zero point 反量化以及浮点累加；BF16 kernel 处理 sink/recent；临了再通过 online softmax merge 归拢两部分红果。
由于它兼容 paged KV、radix prefix cache 和 SGLang 的 fused kernel pipeline，OSCAR 面向的是可部署的长高下文 workload，而不是只展示漂亮的离线准确率。
小模子也能守住高难推理
论文在 Qwen3-4B-Thinking、Qwen3-8B、Qwen3-32B 和 GLM-4.7-FP8 上作念了评估。
任务粉饰 GPQA、HumanEval、LiveCodeBench v6、AIME25 和 MATH500，最永生成长度达到 32K，况兼每个确立运行 5 次取平均。
成果显现，百家乐2026世界杯中国官方下载在约 2.28BPE 下，OSCAR 的精度仍然相配接近 BF16。
以Qwen3-4B-Thinking为例：
TurboQuant mean 为 31.74，QuaRot-INT2 只消 1.40，Naive INT2 为 0.00；OSCAR 达到 71.86，距离 BF16 只差 3.78，况兼比 TurboQuant 高 40.1 分。
在 Qwen3-8B 上，OSCAR mean 为 69.42，BF16 为 70.84，TurboQuant 为 56.88。
到了 Qwen3-32B 和 GLM-4.7-FP8，OSCAR 与 BF16 基本合手平。
这构成果背后的含义，比单个榜单数字更费事：
当任务信得过依赖长链推理、代码生成和数学推导时，低比特 KV Cache 的中枢瓶颈不是"能弗成压"，而是压缩瑕玷会不会破裂 attention 的重要旅途。
OSCAR 的上风，恰是让接近 2-bit 的预算仍然守住推理质地。
论文还成心看了AIME25这个高难数学推理任务，并加入 KIVI-KV2、Kitty 和 OSCAR 的对比。由于 KIVI 和 Kitty 莫得可径直用于 long context run 的 framework 支撑，论文考取了它们唯独在 32K 下报告的 AIME25 成果。
在 Qwen3-8B 上，OSCAR 以 2.38 BPE 达到 66.67，险些追平 BF16 的 66.00，并显著高于 KIVI-KV2 与 Kitty。
在 Qwen3-32B 上，OSCAR 达到 74.00，略高于 BF16 的 72.59，也跳动 Kitty 的 69.26。
这证实，OSCAR 的上风不单体当今与 TurboQuant 的比较中。在现存 KV Cache 量化要领里，它也能以接近 2-bit 的预算守住困难数学推理才气。
但对 serving 系统来说，精度仅仅第一关。信得过上线时，还要看显存、带宽、batch、prefix cache，以及端到端隐约。
开运体育中国官网入口OSCAR 在系统层面的收益也很径直：
比拟 BF16 history storage，OSCAR 不错把 KV Cache memory 缩小约 8 倍。
在 100k context、batch-size-1、full prefix-cache hit 的诞生下，decode 最高约 3 倍加快。
在大 batch 且显存预算固定时，job-level throughput 最高约 7 倍。
这背后的逻辑很直白：当历史 KV footprint 变小，系统就能在一样显存预算下容纳更长高下文、更大 batch，好像更多并发申请。
prefix cache 掷中率越高，KV Cache 压缩带来的收益越容易转机为隐约提高。
关于分享系统指示、多轮 Agent、器用调用链路这类长前缀高复用场景，这一丝尤其费事。
其实如若把 OSCAR 放在 KV Cache 量化的发展端倪里看，最费事的不是它又把 bit 数压低了一丝。
更重要的是，它把 2-bit KV Cache 的问题从"向量压缩"股东到了" attention 质地"和" serving 系统"共同联想。
好多低比特要领为了保分，会把第一层、临了一层或些许明锐层保留在更高 bit。这天然能减少精度耗费，但也会举高平均 bit 数，并让 kernel 和 cache layout 更复杂。
OSCAR 的设定更接近果真奇迹：历史 KV 主体支援使用 INT2，只在 sink 和 recent 两个很小窗口保留 BF16。
这让它更容易接进 paged cache、prefix cache 和批量调度。
为什么这对长高下文 Agent 很费事
果真 Agent 时常包含很长的系统指示、器用证实、历史对话和检索实质。不同申请之间，还会存在开阔分享前缀。
如若 KV Cache 全部使用 BF16，显存很快会成为天花板。如若径直上朴素 INT2，推理链条又可能失真。
OSCAR 给出了一种更系统的折中：长历史用 INT2 降容量和带宽；重要 sink/recent 用 BF16 保巩固；再让 prefix cache 复用分享前缀。
这也阐述了为什么 attention-aware rotation 值得被单独提议。
它不是一个更花哨的旋转手段，而是在再行界说低比特 KV Cache 的优化打算：压缩不是目标，让模子在压缩后仍然能正确使用提防力机制，才是目标。
诚然，TurboQuant 仍是很强的通用 online vector quantization 要领，OSCAR 则更专注于 attention-aware 的 2-bit KV serving。
两者并不一定只可二选一。
OSCAR 现时 code repo 中还是把 attention-aware rotation 与更强的 Lloyd Max codebook 勾通，把压缩率无间往极限推。
OSCAR 带来的重要启发是：2-bit KV Cache 如若要信得过上线，旋转弗成只追求"有"，而要瞄准 attention。
同期，它也必须被放进果真 serving 系统里总共联想。
不外固然现时 OSCAR 还是粉饰多个模子鸿沟和多类推理任务，但果真线上 workload 更复杂。异日仍需要在更多模子架构、硬件环境、prefix cache 掷中模式、多田户请乞降尾延伸场景中无间考据。
此外，OSCAR 要点处理的是 attention-aware rotation 与 2-bit KV serving。
后续如若能勾通更强的动态窗口战术、更多硬件后端和支援 serving 框架，低比特 KV Cache 的鸿沟还可能无间上前股东。
P.S. 作家 Zhongzhu Zhou 是 Together AI 的 Senior Research Scientist，悉尼大学博士，磋议标的包括高效机器学习系统、模子磨练与推理的算法系统协同联想，以及 LLM 压缩与量化。
团队成员分袂来自 Together AI、悉尼大学和伊利诺伊大学厄巴纳 - 香槟分校。
Together AI 创立于 2022 年 6 月，荟萃首创东谈主包括苹果前高管 Vipul Ved Prakash、斯坦福大模子磋议中心主任 Percy Liang、芝加哥大学副讲授 Ce Zhang，以及 FlashAttention 作家 Tri Dao。
论文链接：https://arxiv.org/abs/2605.17757
时势主页：https://oscar-quantize.github.io/
代码链接：https://github.com/FutureMLS-Lab/OSCAR
ModelScope 链接：https://modelscope.cn/models/togethercomputer/OSCAR-RotationZoo
HuggingFace 链接：https://huggingface.co/Zhongzhu/OSCAR-RotationZoo
一键三连「点赞」「转发」「防卫心」
接待在辩驳区留住你的思法！
— 完 —
咱们正在招聘别称眼疾手快、热心 AI 的学术编订实习生 � �
感兴味的小伙伴接待热心 � � 了解确定
� � 点亮星标 � �
科技前沿剖析逐日见百家乐正规平台官方版
