跳到正文
原文
Hugging Face:Blog(RSS)·· 17 天前AI 评分47

Multiverse 将 LLM 块删除重构为 Ising 优化问题

Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem

AI 导读

Multiverse 提出将 LLM 整块删除重构为受限二元优化问题,等价于求解 Ising 玻璃的低能态,从而无需跑 benchmark 即可筛选候选配置。在 Llama-3.3-70B-Instruct 压缩 50% 时,该方法在 MMLU 上比最佳同类块删除方法高出近 23 个百分点。

整理与数据来源:AIHOT

来源:Hugging Face:Blog(RSS) · huggingface.co