跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 18 天前AI 评分45

研究提出压缩深度是层级结构的特征,而非空白符

Paragraph Boundaries Are Not White Space:Compression Depth as the Signature of Hierarchical Structure

AI 导读

该研究指出标准位置编码无法确定文本的层级结构。作者使用分层旋转位置编码(hRoPE),通过干预段落坐标并测量跨段落注意力,发现真实结构表现为更深的注意力压缩,且这种压缩深度具有语料依赖性。相比之下,随机标签的控制组虽然也有压缩,但深度较浅且不具语料依赖性。研究表明,压缩深度而非其位置,是识别真实段落结构的可靠特征。

整理与数据来源:AIHOT

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org