Anteriormente habíamos puesto esta técnica en Evaluar. Las innovaciones en el panorama de la PNL continúan a un ritmo acelerado y podemos aprovecharlas en nuestros proyectos gracias a la ubicua transferencia de aprendizaje para PNL. Se ha visto un progreso significativo en los puntajes de referencia de GLUE (un conjunto de tareas de comprensión del lenguaje) durante los últimos años, con puntajes promedio que pasaban de 70.0 en un inicio y sobrepasando los 90.0 en abril de 2020 para algunos de los líderes. Muchos de nuestros proyectos en los dominios de PNL pueden lograr un progreso significativo si empiezan con modelos preentrenados de ELMo, BERT y ERNIE, entre otros, y luego afinarlos en función de las necesidades del proyecto.
Transfer learning has been quite effective within the field of computer vision, speeding the time to train a model by reusing existing models. Those of us who work in machine learning are excited that the same techniques can be applied to natural language processing (NLP) with the publication of ULMFiT and open source pretrained models and code examples. We think transfer learning for NLP will significantly reduce the effort to create systems dealing with text classification.
