torchtune

torchtune é uma biblioteca do PyTorch para criação, pós-treinamento e experimentação com modelos de linguagem de grande porte (LLMs). Ela oferece suporte a configurações com uma ou múltiplas GPUs e permite treinamento distribuído com FSDP2. A biblioteca fornece receitas baseadas em YAML para tarefas como ajuste fino, inferência, avaliação e treinamento consciente de quantização. Cada receita apresenta um conjunto de recursos focado, evitando configurações complexas baseadas em flags. Ela prioriza a simplicidade, favorecendo a clareza do código em vez de abstrações excessivas. Além disso, inclui uma CLI para baixar modelos, gerenciar receitas e executar experimentos de forma eficiente.