华为提出全新压缩算法:节省70%内存占用

热点新闻 8
快科技1月24日消息,华为AI算法团队在人工智能领域取得了显著突破,他们研究并发表了一种创新的大模型KV Cache压缩算法,名为RazorAttention”。这一算法具有卓越的性能,能够有效节省高达70%的大模型推理内存占用,为AI大模型的高效运行提供了有力支持。其论文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度学习领域国际顶级会议ICLR 2025收录。华为表示,此算法为业界首个基于

快科技1月24日消息,华为AI算法团队在人工智能领域取得了显著突破,他们研究并发表了一种创新的大模型KV Cache压缩算法,名为RazorAttention”。

这一算法具有卓越的性能,能够有效节省高达70%的大模型推理内存占用,为AI大模型的高效运行提供了有力支持。

华为提出全新压缩算法:节省70%内存占用

其论文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度学习领域国际顶级会议ICLR 2025收录。

华为提出全新压缩算法:节省70%内存占用

华为表示,此算法为业界首个基于Attention可解释性的离线静态KV Cache压缩算法,打破了过去AI大模型长序列KV Cache压缩不理想的现状。

该算法通过检索头的设置,确保上下文中重要且主要的信息不丢失,在保持高精度(误差小于1%)的情况下,静态有效压缩了最大到70%的KV Cache内存占用,可以为用户大大节约AI大模型推理的成本。

目前RazorAttention算法已产品化集成在昇腾MindIE/MindStudio,支持主流8K~1M长序列KV Cache压缩,32K以上场景增量吞吐提升20% 。

打赏
版权声明 本文地址:https://sdlongpai.cn/post/65810.html
1.文章若无特殊说明,均属本站原创,若转载文章请于作者联系。
2.本站除部分作品系原创外,其余均来自网络或其它渠道,本站保留其原作者的著作权!如有侵权,请与站长联系!
广告二
扫码二维码