Hugging Face:Blog(RSS)·· 17 天前AI 评分47
Multiverse 将 LLM 块删除重构为 Ising 优化问题
Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
AI 导读
Multiverse 提出将 LLM 整块删除重构为受限二元优化问题,等价于求解 Ising 玻璃的低能态,从而无需跑 benchmark 即可筛选候选配置。在 Llama-3.3-70B-Instruct 压缩 50% 时,该方法在 MMLU 上比最佳同类块删除方法高出近 23 个百分点。
整理与数据来源:AIHOT
来源:Hugging Face:Blog(RSS) · huggingface.co