注意力机制（Attention）是 Transformer 架构大型语言模型（LLM）的核心机制，它决定了模型如何处理、理解海量的文本信息。然而，传统全注意力机制的计算开销会随文本长度呈平方级暴增，这正是限制模型处理长文档、长上下文的关键瓶颈。 今年初，《晚点聊 ...