小红书与NVIDIA联合发布GR-Inference推理引擎，优化生成式召回

小红书与NVIDIA联合构建GR-Inference，一个面向长Context、短Decode、大Beam的生成式召回专用推理引擎，覆盖KV抽象、连续批处理、专用Decode Attention、受限生成与CUDA Graph等优化。