结构化残差连接对 Diffusion Transformer 为何重要

研究提出将 Diffusion Transformer 的残差连接从被动求和改为主动检索机制，通过结构化连接设计让每个 Transformer block 选择性关注早期层表示。该方法训练迭代次数最多减少 1.73 倍，额外参数不到 0.1%，将 REPA-XL/2 的无引导 FID 从 5.9 降至 4.34，使用 classifier-free guidance 时达到 1.39 FID。