ModernBERT

Sendo sucessor do BERT (Bidirectional Encoder Representations from Transformers), ModernBERT é uma família de modelos transformer enconder-only de última geração projetados para uma ampla gama de tarefas de processamento de linguagem natural (PLN). Como um substituto imediato, ModernBERT melhora o desempenho e a precisão, ao mesmo tempo que aborda algumas das limitações do BERT — notavelmente incluindo suporte para comprimentos de contexto muito maiores, graças à Atenção Alternada. Equipes com necessidades de PNL devem considerar o ModernBERT antes de adotar um modelo generativo de propósito geral.