word2vec 究竟学到了什么？新理论证明其等价于对目标矩阵做 PCA

伯克利 AI 研究团队发表新论文，为 word2vec 的学习过程提供了定量预测理论：在现实训练条件下，其学习问题可归约为无权重最小二乘矩阵分解，梯度流动力学有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。从接近零的小初始化开始，word2vec 按离散步骤逐个学习正交线性子空间，每步提升嵌入矩阵的秩并降低损失，这些特征正是由语料共现统计和超参数决定的目标矩阵的顶部特征向量。