FlowTool:用流匹配控制图像修饰中的工具参数
FlowTool 将基于工具的图像修饰建模为流匹配问题,用条件整流流直接生成工具参数,由视觉语言模型骨干加 Diffusion Transformer 参数生成器组成,把高斯噪声转成编辑方案。
FlowTool 将基于工具的图像修饰建模为流匹配问题,用条件整流流直接生成工具参数,由视觉语言模型骨干加 Diffusion Transformer 参数生成器组成,把高斯噪声转成编辑方案。
针对现有图像编辑模型在递归编辑中快速退化的问题,研究者提出 MT-OPSD 在线策略自蒸馏框架,让模型在自生成的条件下状态上训练,并由干净条件教师模型提供编辑监督,无需多轮标注。该工作同时发布 LME-Bench,包含 100 组十轮编辑会话,用于评估长程鲁棒性。在三个编辑骨干上的实验显示,MT-OPSD 显著提升长程编辑成功率、减少多轮崩溃,并基本保持单轮编辑质量。
UMM-Reflection 通过交错强化学习,让统一多模态模型在一条轨迹内完成"诊断—修改—再观察"的完整反思循环,轨迹级优势同时更新反思 token 与基于流的图像修改,推理时无需外部验证器。
研究者推出 SolveEdit 基准,用于评估生成模型通过场景变换完成视觉问题求解的能力,包含 2,728 个案例,并用原子变换契约与 SolveScore 在无需参考输出的情况下衡量完成度与误改。
研究提出将 Diffusion Transformer 的残差连接从被动求和改为主动检索机制,通过结构化连接设计让每个 Transformer block 选择性关注早期层表示。该方法训练迭代次数最多减少 1.73 倍,额外参数不到 0.1%,将 REPA-XL/2 的无引导 FID 从 5.9 降至 4.34,使用 classifier-free guidance 时达到 1.39 FID。
研究提出残差可迁移性(RT)指标,量化神经图像水印证据在跨图像迁移后的可解码程度,发现架构设计而非训练侧变化是 RT 差异的主因,并识别出两种强化水印证据对载体图像依赖的机制。针对难以重新设计架构的现有水印系统,作者提出即插即用策略 CoverLock,在高 RT 水印系统上实现了优于传统手工防御和基于学习分类器防御的安全—鲁棒性权衡。
该论文提出 FoMo(Forking Moment),一种全自动数据生成管线,用于在无需人工标注的情况下生成图像对之间的点式感知距离标签。方法利用扩散模型的生成动态,认为早期时间步决定粗结构,晚期决定细节;图像在生成轨迹中“分叉”越早,感知距离越远。实验表明该方法能对齐人类视觉系统,并用于训练参考型图像质量评估指标,在多个基准上超越依赖人工标注的数据集。
LLaDA-Image 是一个统一框架,包含从零训练的 6B Diffusion Transformer 和基于 LLaDA2.0-Mini 扩散语言模型骨干的冻结视觉语言理解模块。
论文提出 Editable Visual Design 范式,由 Coding Agent 驱动,将 VLM 作为理解需求、规划任务和审美判断的创意大脑,将图像生成模型作为按需合成独立视觉素材的视觉世界模拟器。
KAIST-VICLab 提出 ReFlowSET,一种条件潜空间流匹配框架,通过 SAR-EO 联合重建审计选择潜空间编解码器,并在该空间从零训练规模更小的条件 DiT。方法将中间噪声 EO 特征与冻结视觉基础模型提取的干净目标表征对齐,仅用于训练阶段,不增加推理成本;在 QXS-SAROPT 和 SAR2Opt 上取得 SOTA,代码与权重已在 GitHub 公开。
论文提出 BLARM,一种前馈方法,输入单目视频和静态物体网格,即可预测运动跟随视频的时序连贯动画网格。方法用少量随时间变化的刚性运动分量和顶点到分量的蒙皮权重表示动画,无需骨骼、cage、蒙皮权重或绑定标注,通过分解时空注意力将几何形变潜变量条件于视频特征,并以轨迹重建、熵正则和运动感知对比学习训练,生成准确且时序稳定的动画。
Berkeley AI Research 提出一种直接评估和优化成像系统信息量的框架,通过互信息量化测量对物体的区分能力,统一了分辨率、噪声、采样等传统指标。该方法仅从测量数据和已知噪声模型估计信息量,在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证,信息估计能预测解码器性能,优化后的设计达到端到端方法水平,且内存和计算需求更低、无需任务专用解码器。