跳到正文

#论文/研究

今日 0 条
5月16日周六
5月12日周二
5月8日周五
  1. Berkeley AI Research36

    自适应并行推理:高效推理扩展的下一个范式

    伯克利 AI Research 发布综述,梳理并行推理领域进展,重点讨论自适应并行推理——让推理模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调。文章指出,现有方法多由模型外部固定并行结构,而不同问题需要不同并行度。文中还介绍了 ThreadWeaver、ParaThinker、GroupThink、Hogwild! Inference 等方法。

4月30日周四
4月22日周三
4月20日周一
3月13日周五
1月10日周六
  1. Berkeley AI Research22

    信息驱动的成像系统设计:Berkeley 提出基于互信息的成像评估框架

    Berkeley AI Research 提出一种直接评估和优化成像系统信息量的框架,通过互信息量化测量对物体的区分能力,统一了分辨率、噪声、采样等传统指标。该方法仅从测量数据和已知噪声模型估计信息量,在彩色摄影、射电天文、无透镜成像和显微镜四个领域验证,信息估计能预测解码器性能,优化后的设计达到端到端方法水平,且内存和计算需求更低、无需任务专用解码器。

11月1日周六
  1. Berkeley AI Research36

    无需 TD 学习:用分治法实现可扩展的 off-policy 强化学习

    伯克利 AI 研究提出一种基于分治(divide and conquer)的强化学习算法,不依赖时序差分(TD)学习,可将 Bellman 递归次数从线性降为对数级,从而扩展到长时程任务。该方法针对 off-policy RL 场景,在目标条件 RL 中利用三角不等式构造传递性 Bellman 更新,用两个较短的子轨迹价值更新完整轨迹价值。目前仍存在如何选取最优子目标 w 的问题。

9月1日周一
  1. Berkeley AI Research31

    word2vec 究竟学到了什么?新理论证明其等价于对目标矩阵做 PCA

    伯克利 AI 研究团队发表新论文,为 word2vec 的学习过程提供了定量预测理论:在现实训练条件下,其学习问题可归约为无权重最小二乘矩阵分解,梯度流动力学有闭式解,最终学到的表示等价于对目标矩阵 M* 做 PCA。从接近零的小初始化开始,word2vec 按离散步骤逐个学习正交线性子空间,每步提升嵌入矩阵的秩并降低损失,这些特征正是由语料共现统计和超参数决定的目标矩阵的顶部特征向量。