跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 15 天前AI 评分37

Six Layers Less:Whisper 编码器剪枝与无标签恢复方法

Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery

AI 导读

研究者提出按"留一法"对 WER 影响排序来剪除 Whisper 编码器层,去掉影响最小的 6 层,占编码器堆栈的 18.5%,剪枝后模型无需自定义推理代码。再用无标签单语语音数据蒸馏恢复性能,四种语言平均 WER 从零样本剪枝的 21.9% 降至 20.1%,基线为 18.2%。代码与剪枝模型已开源。

整理与数据来源:AIHOT

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org