RayOrch：面向基础模型数据准备的谱系控制多粒度数据流执行引擎

RayOrch提出了一种编程模型和分布式执行引擎，用于解决基础模型训练数据准备中异构文档和视频转换的扩展性问题。它通过保留父子关系、支持有序变量基数扩展及匹配收集，优化GPU批处理效率。在NVIDIA H20 GPU上，RayOrch将MinerU从4卡扩至64卡时加速15.14倍，视频流水线从8卡扩至64卡时加速7.82倍，端到端时间较Ray Data减少13.1%。代码已开源。