精简版
1
1
0
云栖社区>博客>正文
王柯凝 2019-07-18 10:38:45 浏览 345
云智能前沿
展开阅读全文
2018 年, 在引入了迁移学习之后, 自然语言处理 (NLP,Natural Language Processing) 领域发生了革命性的变化. BERT(Bidirectional Encoder Representations from Transformers)是谷歌人工智能团队在 2018 年推出的一个典型的迁移学习案例, 它在各种 NLP 任务中展现出的最先进成果震撼了整个 NLP 领域.
由于 BERT 高度实用的方法和具有更高效的性能, 它被用于各种 NLP 任务, 在语言模型中取得了最先进的成果. 本文将通过一些重要的背景细节对 BERT 的体系结构进行广泛的说明. 我们还将通过实际操作, 使用 PyTorch 库对讨论关于如何使用该模型获得最先进成果进行测试.
有一种非常有效的方法可以进行预训练神经网络, 并创建一个预训练的语言模型, 这被称为语言建模(LM).
一些关于
来源: https://yq.aliyun.com/articles/709715