谷歌开源 BERT:最先进的 NLP 预训练技术,支持中文和更多语言

374 阅读1分钟

谷歌本周开源了一种 NLP 预训练新技术Bidirectional Encoder Representations from Transformers(BERT)。此次发布的版本中,世界上任何人都可以在一个云 TPU 上花费大约 30 分钟,或使用单个 GPU 在几个小时内训练他们自己最先进的问答系统(或各种其他模型)。该版本包括在 TensorFlow 之上构建的源代码和许多预先训练的语言表示模型。在我们的相关论文中,展示了包括斯坦福问答数据集(SQUAD v1.1)在内 11 个 NLP 任务的最新结果 .......

为了评估性能,将 BERT 与其他最先进的 NLP 系统进行了比较。实验中,几乎没有针对特定任务而对神经网络架构进行更改。在 SQuAD v1.1 上,BERT 获得了 93.2% 的 F1 分数(一种准确度的衡量指标),超过了之前最高水准的分数 91.6% 和人类分数 91.2%。

....... 点击此处阅读原文