如图 1 所示，DLRM 基准由计算主导的 MLP 和内存容量有限的嵌入组成。因此，它自然需要依靠数据并行性来提升 MLP 的性能，并且依赖模型并行化来满足内嵌对内存容量的需求。DLRM 基准测试提供了一个遵循此方法的并行实现。在交互过程中，DLRM 需要一个高效的全通信原语，我们称之为蝴蝶式洗牌（butterfly shuffle）。它将每个设备上 minibatch 的嵌入查找结果重新洗牌，分配到所有设备上，成为 minibatch 嵌入查找的一部分。如下图所示，每种颜色表示 minibatch 的不同元素，每个数字表示设备及其分配的嵌入。我们计划优化系统，并在以后的博客中公布性能研究细节。
