NVIDIA Transformer Engine 如何用 JAX 加速 Dropless MoE 训练

NVIDIA 在 JAX 中用 Transformer Engine 优化 Dropless MoE 训练，在 NVIDIA GB200 上跑 DeepSeek-V3 时，未优化基线仅 103 TFLOPS/GPU、GPU 间通信占累计 kernel 时间 84%，经针对性 kernel 优化后升至 1,068 TFLOPS/GPU，提升 10.4 倍。