跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 2026-09-03AI 评分34

并非所有秩都相等:跨任务的预算感知 LoRA 合并

Not All Ranks Are Equal: Budget-Aware LoRA Merging Across Tasks

AI 导读

研究提出 Net Utility,一种无需数据的指标,通过 SVD 分解每个任务的 LoRA,按任务效用及与其他任务方向的干扰为各奇异方向打分,再在总方向数约束下全局择优,实现跨任务的预算感知秩分配。该方法可叠加在五种合并方法、三种合并空间之上,在视觉与语言两组任务上均优于不做秩分配的方案,视觉任务平均提升 +2.1%,语言任务平均提升 +2.2%。

整理与数据来源:AIHOT

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org