Apple 用潜空间蒸馏压缩流式神经音频编码器

Apple 提出以预量化器潜变量为监督目标的蒸馏方法，压缩 System-wide Dictation 的流式神经音频编码器，学生编码器仅需回归教师逐帧潜变量，并用单层仿射层吸收宽度差异。在 2.8× 压缩率下，六组教师-学生配对中有五组无需微调即保持在教师 1.9% 相对 WER 以内，并比同容量独立训练编码器相对提升 3.9%。