Nós havíamos incluído essa técnica em Avalie anteriormente. As inovações no cenário do PLN continuam em um ótimo ritmo, e conseguimos aproveitar essas inovações em nossos projetos graças à onipresente transferência de aprendizado para PLN. As pontuações do benchmark GLUE (um conjunto de tarefas de compreensão de linguagem) tiveram um progresso dramático nos últimos dois anos, com pontuações médias passando de 70,0 no lançamento para líderes ultrapassando 90,0 em abril de 2020. Muitos de nossos projetos no domínio PLN são capazes de atingir progressos significativos, iniciando a partir de modelos pré-treinados do ELMo, BERT e ERNIE, entre outros, e depois ajustando-os com base nas necessidades do projeto.
A transferência de aprendizado tem sido eficaz dentro do campo da visão computacional, acelerando o tempo de treinamento de um modelo com a reutilização de módulos. Quem trabalha com aprendizado de máquina está otimista com o fato de poder aplicar as mesmas técnicas no processamento de linguagem natural (NLP) com a publicação do ULMFiT e modelos pré-treinados de código aberto e exemplos de código. Achamos que a transferência de aprendizado para NLP vai reduzir significativamente o esforço para criar sistemas que lidam com a classificação de texto.
