PISA：基于金字塔 Top-K 选择的块稀疏注意力，实现 Log-Linear 复杂度

研究者提出 PISA，一种采用金字塔 Top-K 选择策略的块稀疏注意力机制，通过构建 O(log N) 层级的键层次结构并逐层用 LogSumExp 打分筛选候选，将整体复杂度降至 O(Nlog N)。团队还开发了面向训练和推理的硬件感知 Triton kernel，无需物化 query-key 分数矩阵。在语言建模任务上，PISA 在常识推理等基准上与基线相当，并在检索任务上取得更好结果。