Microsoft 论文《Sliding-window beats linear attention》发现，目标是降低推理内存时，免训练的滑动窗口注意力（SWA）优于多数改造的线性注意力方法，只需保留小窗口加前 4 个 sink token。