Berkeley AI Research 提出 SPEX 与 ProxySPEX：大规模识别 LLM 关键交互
Berkeley AI Research 提出 SPEX 与 ProxySPEX 算法，用于在大规模 LLM 中识别驱动模型输出的关键交互。SPEX 利用稀疏性与低阶性把交互搜索转化为稀疏恢复问题，ProxySPEX 进一步利用层级结构，在约少 10 倍消融次数下达到 SPEX 的性能。
#数据/训练
#数据/训练
今日 1 条Berkeley AI ResearchAI 评分3434
Berkeley AI ResearchAI 评分2222 信息驱动的成像系统设计：Berkeley 提出基于互信息的成像评估框架
Berkeley AI Research 提出一种直接评估和优化成像系统信息量的框架，通过互信息量化测量对物体的区分能力，统一了分辨率、噪声、采样等传统指标。该方法仅从测量数据和已知噪声模型估计信息量，在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证，信息估计能预测解码器性能，优化后的设计达到端到端方法水平，且内存和计算需求更低、无需任务专用解码器。
Berkeley AI ResearchAI 评分3131 word2vec 究竟学到了什么？新理论证明其等价于对目标矩阵做 PCA
伯克利 AI 研究团队发表新论文，为 word2vec 的学习过程提供了定量预测理论：在现实训练条件下，其学习问题可归约为无权重最小二乘矩阵分解，梯度流动力学有闭式解，最终学到的表示等价于对目标矩阵 M* 做 PCA。从接近零的小初始化开始，word2vec 按离散步骤逐个学习正交线性子空间，每步提升嵌入矩阵的秩并降低损失，这些特征正是由语料共现统计和超参数决定的目标矩阵的顶部特征向量。