torchtune

torchtune es una librería de PyTorch para la autoría, post-entrenamiento y experimentación con LLMs. Soporta configuraciones individuales y multi-GPU y habilita entrenamiento distribuído con FSDP2. La librería provee de recipes basadas en YAML para tareas como ajustes finos, inferencia, evaluación y entrenamiento consciente de la cuantización. Cada receta ofrece un set de características enfocado, evitando configuraciones complejas basadas en flags. Prioriza simpleza, favoreciendo la caridad del código por sobre abstracciones excesivas. Además incluye un CLI para descargar modelos, administrando recetas y ejecutando experimentos de forma eficiente.