
DeepSeek同一道题为何一会儿对一会儿错?字节Seed找到4 Token周期弱点
分块KV Cache压缩让长上下文更省显存,却可能让信息因所处“相位”不同而被区别对待;最高40.2个百分点的差距,藏在平均分看不见的位置。
字节Seed团队发现,采用分块KV Cache压缩的DeepSeek V4会出现相位敏感性:同一信息仅改变输入…
24 000
暂无菜单项
大语言模型推理中的键值缓存、显存优化、压缩方法、注意力机制与长上下文性能分析。

分块KV Cache压缩让长上下文更省显存,却可能让信息因所处“相位”不同而被区别对待;最高40.2个百分点的差距,藏在平均分看不见的位置。
字节Seed团队发现,采用分块KV Cache压缩的DeepSeek V4会出现相位敏感性:同一信息仅改变输入…
