发布于 : May 19, 2020
不在本期内容中
这一条目不在当前版本的技术雷达中。如果它出现在最近几期中，那么它很有可能仍然具有相关参考价值。如果这一条目出现在更早的雷达中，那么它很有可能已经不再具有相关性，我们的评估将不再适用于当下。很遗憾我们没有足够的带宽来持续评估以往的雷达内容。
了解更多
May 2020
评估
在上一期技术雷达中，我们加入了BERT—— NLP（Natural Language Processing，自然语言处理） 领域中的一个关键里程碑。去年，百度发布了 ERNIE 2.0（Enhanced Representation through kNowledge IntEgration），它在 7 个 GLUE(General Language Understanding Evaluation) 语言理解任务和全部 9 个中文 NLP 任务上的表现均优于 BERT。和 BERT 一样，ERNIE 也提供了无监督预训练语言模型。它可以通过添加输出层的方法来进行微调，以创建多种 NLP 任务的当前最优模型。ERNIE 与传统预训练方法不同之处在于，它是一个连续的预训练框架。它可以不断地引入各种各样的预训练任务，以帮助模型有效地学习语言表达，而不是仅使用少量的预训练目标进行训练。我们对 NLP 的进步感到非常兴奋，并期待在我们的项目中尝试。
