SAE 潜在空间中的词性作为涌现类别

研究以词性（PoS）为受控测试用例，考察 Sparse AutoEncoders（SAE）的潜在表示暴露何种语言结构。结果显示词性区分可从 SAE 激活中高度恢复，但不与单个 latent 一一对应，且不能还原为词汇记忆；开放与封闭词类差异显著，各类别由紧凑的稀疏 latent 组支撑，这些组在留出数据上保持稳定，相关类别间存在重叠。