文章目录
关于 StreamingLLM
Efficient Streaming Language Models with Attention Sinks
在流媒体应用程序(如多轮对话)中 部署大型语言模型(LLM)是迫切需要的,但这带来了两个主要挑战。
首先,在解码阶段,缓存先前 tokens’ Key and Value(KV)会消耗大量内存。
其次,流行的LLM不能推广到 比训练序列长度更长的文本。
Window attention,只缓存最新的KV,是一种自然的方法——但我们表明,当文本长度超过缓存大小时,它会失败。
我们观察到一个有趣的现象,即注意力下沉,即保持初始 tokens 的KV,将在很大程度上恢复窗口注意力的表现。
在本文中,我们首先证明了 attention sink 的出现是由于对作为“sink”的初始标记的