torchtune

torchtune 是一个专为 PyTorch 设计的库，用于编写、后训练以及实验性探索大语言模型。它支持单 GPU 和多 GPU 设置，并通过 FSDP2 实现分布式训练。该库提供基于 YAML 的 recipes（配方），用于微调、推理、评估以及量化感知训练等任务。每个配方都聚焦于特定功能，避免复杂的参数标志配置，注重代码清晰性而非过度抽象化。此外，torchtune 包含一个强大的 CLI，可用于高效地下载模型、管理配方和运行实验。