跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 2026-09-02AI 评分37

Debias-SparseGPT:面向大语言模型的偏见感知剪枝方法

Debias-SparseGPT: Bias-Aware Pruning for Large Language Models

AI 导读

论文提出 Debias-SparseGPT,一种后训练剪枝方法,利用人口统计对比输入上的二阶项进行表征去偏。在 25%、50% 和 2:4 结构化稀疏度下,该方法相比 SparseGPT 持续降低剪枝引入的偏见,同时保持模型困惑度和零样本准确率;在限制最严格的 2:4 结构化稀疏模式下,用长上下文、内容丰富的示例扩充校准集可进一步提升下游性能和公平性。

整理与数据来源:AIHOT

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org