En la anterior edición del Radar presentamos BERT - un hito en el panorama de Procesamiento de Lenguaje Natural. El año pasado, Baidu publicó ERNIE que mejoró BERT en siete tareas de comprensión del lenguaje GLUE y en las 9 tareas NLP para el lenguaje chino. ERNIE, como BERT, ofrece modelos de lenguaje no supervisados pre-entrenados, que pueden ser ajustados agregando capas de salida para crear modelos en estado del arte para una variedad de tareas NLP. ERNIE se diferencia de los métodos pre-entrenados tradicionales en que es un framework de pre-entrenamiento continuo. En lugar de entrenar con un pequeño número de objetivos de pre-entrenamiento, puede introducir constantemente una gran variedad de tareas de pre-entrenamiento para ayudar al modelo a aprender representaciones del lenguaje de manera eficiente. Estamos muy emocionados sobre los avances en NLP y estamos deseando experimentar con ERNIE en nuestros proyectos.
