先明确两张卡共享什么
在经典数据并行中，每个 GPU 保留一份模型副本并接收一部分 batch。对于单卡放不下的模型，需要切分参数或层。因此，相加得到的 360 GB 并不会自动构成一个统一的分配。请在租用前写下您的假设：增大全局 batch、缩短单步时间，或使某次运行成为可能。
一次能得出结论的切分试验
先在单卡上使用同一份缩减数据集（如果模型放得下），然后在双卡上运行。记录每个 GPU 的显存峰值、预热后的单步时间和通信开销。一张卡几乎空闲而另一张饱和，说明切分不均衡。当您的问题涉及多个超参数时，两个独立实验可能比分布式训练更有用。
在此比较过程中，请保持精度和处理样本数不变。如果同时改变数值格式和 batch 大小，所获得的改善将难以归因于硬件。
准备 Blackwell 技术栈并选择替代方案
确认你的 PyTorch 版本、CUDA 发行版以及已编译扩展是否正确面向 Blackwell。一个仅兼容其他代次的定制内核不足以证明这种兼容性。在完整训练活动开始前，先测试基本运算。如果你的模型及其运行时余量能放进 141 GB，H200 可用于研究单 GPU 运行；MI300X 则为面向 ROCm 准备的项目提供了另一条路径。
预留一段可用的研究窗口
三天适合事先准备好的分配验证。七天可以安排多个变体及其评估。三十天则对应一次持续跟进的训练活动，并预先定义检查点和停止标准。选择双卡批次的数量、时长和所需环境，然后填写你的联系方式。完成加密货币转账后，在订单中使用“我已付款”；随后按照付款和访问准备步骤操作。