跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 2026-09-02AI 评分37

研究将 SGD 优化动力学建模为渗流过程,提出方差级联与离散标度不变性

Percolation Dynamics in Optimization : Variance Cascades and Discrete Scale Invariance

AI 导读

该研究将随机梯度流(SGF)建模为渗流过程,认为架构对称性迫使子网络以离散的同步块合并,并在宏观序参量上表现为方差尖峰,类似物理相变。研究还指出这种捕获机制及标度级联在显式重尾噪声模型下同样适用于 Adam 和 AdamW。论文链接:https://arxiv.org/abs/2609.02373

整理与数据来源:AIHOT

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org