不幸的是，使用上下文是有细微代价的，这通常被称为上下文腐化。上下文腐化是指这样一种观察：随着上下文的增长，模型性能会下降，因为注意力被分散到了更多的 token 上，且陈旧、无关的内容开始干扰当前任务。对于我们的 100 万上下文模型，我们观察到在 ...