AI导读:

谷歌发布AI内存压缩技术TurboQuant,该技术有望大幅减小模型大小,对AI部署的成本曲线产生积极影响。然而,市场对此反应不一,有分析师对其“颠覆性”提出质疑。摩根士丹利认为该技术对算力与内存硬件的长期影响中性偏正面。

根据谷歌的介绍,TurboQuant能够在不损失任何精度的前提下大幅减小模型大小,因此非常适合支持键值缓存压缩和向量搜索。有分析师对该技术的“颠覆性”提出质疑,并指出媒体对该技术的报道存在夸大成分。摩根士丹利指出,TurboQuant仅作用于推理阶段的键值缓存,完全不影响模型训练任务,也不影响模型权重所占用的高带宽内存。该技术重塑了AI部署的成本曲线,对算力与内存硬件的长期影响不仅不是利空,反而呈现出“中性偏正面”的积极信号。