Google Research 昨天发了篇博客，介绍了一个叫 TurboQuant 的压缩算法，将在下个月的 ICLR 2026 上正式发表。 一句话概括：把大模型的 KV Cache 压缩到 3 bit，内存占用降 6 倍，推理速度快 8 ...

3 月 24 日，Google Research 发布了一套名为 TurboQuant 的向量量化压缩算法，宣称能将大语言模型的 KV 缓存（Key-Value Cache）压缩至仅 3 比特，同时实现零精度损失。在 NVIDIA H100 GPU ...

2026年3月26日，人工智能领域迎来一项可能改变游戏规则的突破。谷歌正式发布了一项名为“TurboQuant”的新型AI内存压缩算法，其核心宣称直指当前大模型（LLM）规模化应用的核心痛点：在无需重新训练或微调模型的前提下，将大语言模型推理过程中的 ...

What Google's TurboQuant can and can't do for AI's spiraling cost ...

A paper from Google could make local LLMs even easier to run.

HySparse创新使用极少的全注意力（Full Attention）层提供“token选择+KV Cache”，其余稀疏注意力（Sparse Attention）层直接复用这些信息，实现高效精准的长上下文建模。 在总共49层的80B-A3BMoE模型实验中，仅保留5层Full Attention仍能保持甚至提升模型能力，同时显著降低 ...

This is really where TurboQuant's innovations lie. Google claims that it can achieve quality similar to BF16 using just 3.5 ...

Google thinks it's found the answer, and it doesn't require more or better hardware. Originally detailed in an April 2025 ...

而在2026年的CES上，英伟达直接自己做了一套面向KV Cache的存储层。由于英伟达的KV Cache存储层明确采用了SSD，而当前SSD市场正受供应紧张和价格上涨的影响，本就紧俏的市场再次被推向高潮。 老黄的这次发布，使SSD热度进一步升温，也直接带动了闪迪、美光、SK ...

Within 24 hours of the release, community members began porting the algorithm to popular local AI libraries like MLX for ...