在 Slurm 集群进行分布式训练

在初次接触 Slurm 集群时，我发现其启动分布式训练的方式与传统的多机集群存在一定差异，尤其在进行多机分布式训练时更为明显。为此，本文总结了我在 Slurm 集群上尝试分布式训练过程中积累的一些经验，希望对有类似需求的读者有所帮助。