分享
点赞 收藏
GPU 计算与通信重叠模拟器

110 · 发布于 2026-04-18 08:49:16

当我们在大模型训练中开启如 ZeRO 优化或设置合理的 Bucket Size 时,底层的计算流(Compute)和通信流(Communication)是如何从“排队等候”变成“无缝双开”的。
数据与算法架构提升之路
16557粉丝
关注

0条评论

还能输入1000个字符