HuggingFace Daily Papers(社区热门论文)·· 15 天前AI 评分40
AV-GRPO:面向音视频联合生成的模态锚定解耦扩散强化学习框架
AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation
AI 导读
AV-GRPO 是一个模态锚定的在线扩散强化学习框架,通过模态锚定 rollout、轨迹锁定冻结塔优化和自适应目标,将耦合的多模态偏好学习拆解为单模态子问题,用于音视频联合生成。配套的 5DAV 数据集在五个维度上解耦样本以支持系统化训练。在 JavisBench 和 VABench 上,AV-GRPO 在 LoRA 与全量微调下于生成质量、语义对齐和跨模态同步方面均优于 LTX-2.3。
整理与数据来源:AIHOT
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org