
快科技 3 月 27 日音讯,据媒体报说念,好意思东时间 3 月 26 日,存储芯片股集体重挫,闪迪跌超 11%,希捷跌逾 8%,超威半导体、西部数据跌逾 7%,好意思光科技跌近 7%。
业内东说念主士分析,这一波动源自谷歌研讨院行将在国外学习表征会议(ICLR 2026)上认真亮相的学术论文,该研讨推出了一种新式 AI 内存压缩本领" TurboQuant "。
谷歌声称,该本领可将大谈话模子推理中的缓存内存占用压缩至六分之一,并在英伟达 H100 GPU 上完毕最高 8 倍的性能加快。
AI 模子初始时存在一种"使命内存",即 KV 缓存(Key-Value Cache)。每当模子处分信息、生成回报时,KV 缓存便会赶紧扩张,且高下文窗口越长,缓存占用的内存越大。
TurboQuant 本色上是一种极致的量化压缩算法,188BET传统量化重要需要在压缩精度和颠倒存储支拨之间协调,而谷歌团队通过 PolarQuant(极坐标量化)和 QJL(量化 JL 变换)两项改变,完毕了在"零亏蚀"前提下将 KV 缓存压缩至 3-bit 精度。
Cloudflare 首席实施官将这一效果称为谷歌的" DeepSeek 时刻",以为其有望像 DeepSeek 雷同,通过极致效劳大幅拉低 AI 的初始老本。
不外,摩根士丹利在最新研报中指出,阛阓对此存在误读。该本领仅作用于推理阶段的键值缓存,并不影响模子权重所占用的高带宽内存(HBM),也与 AI 查验任务无关。
分析师强调,所谓的" 6 倍压缩"并非存储总需求的减少,而是通过效劳进步增多单 GPU 的隐约量。这意味着在交流硬件条目下,不错救助 4 倍至 8 倍更长的高下文,或在不触发内存溢出的前提下显贵进步批处分边界。
当今,谷歌尚未公布 TurboQuant 在 Gemini 等自研模子中的具体部署时间表,研讨团队想象鄙人个月的 ICLR 2026 会议上认真发布关连效果。
