在一个包含 4 个 GPU 的节点上运行的结果如下：

在编写分布式训练脚本时，我们通常需要通过环境变量向每个进程传递 RANK、WORLD_SIZE 和 LOCAL_RANK 等信息。本文记录了一个在 Slurm 脚本中设置环境变量时遇到的陷阱。

给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。

忘了写 return 是大多数程序员经常犯的问题。在老版本的编译器下，程序运行时可能不会报任何错误；但在新版本的编译器中，编译器可能会插入 ud2 指令——当程序执行到这个指令时会立即触发异常并终止。

Sum 是最基础的规约操作，将数组中所有元素累加求和。许多其他规约操作（如 max、min、mean）都可以复用 sum 优化的核心技巧。

这里使用官方文档中的 bitreverse 示例演示 CUDA-GDB 的使用方法。 该程序对数据集执行简单的 8 位数据反转操作。

现在有一些基于对 python 代码进行 AST 插桩的工作, 比如 TrainCheck。 这篇博客主要介绍如何对 Python 进行 AST 插桩。

并查集 (Disjoint Sets) 是一种用于高效管理不相交集合的数据结构，常用于处理动态连通性问题，例如判断两个元素是否属于同一集合、合并集合等。

图论 (Graph Theory) 是数学和计算机科学中的一个重要分支, 主要研究 图(Graph) 这种数学结构。