BERT 最近太火, 蹭个热点, 整理一下相关的资源, 包括 Paper, 代码和文章解读.
1,Google 官方:
1) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.04805
一切始于 10 月 Google 祭出的这篇 Paper, 瞬间引爆整个 AI 圈包括自媒体圈: https://arxiv.org/abs/1810.04805
2) GitHub: https://github.com/google-research/bert
11 月 Google 推出了代码和预训练模型, 再次引起群体亢奋.
3) Google AI Blog: Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing
2, 第三方解读:
1) 张俊林博士的解读, 知乎专栏: 从 Word Embedding 到 Bert 模型 - 自然语言处理中的预训练技术发展史 https://zhuanlan.zhihu.com/p/49271699
我们在 AINLP 微信公众号上转载了这篇文章和张俊林博士分享的 PPT, 欢迎关注:
从 Word Embedding 到 Bert 模型 - 自然语言处理中的预训练技术发展史 https://mp.weixin.qq.com/s/p16IEzlaDGRNt8h6WkP-dQ
预训练在自然语言处理的发展: 从 Word Embedding 到 BERT 模型 https://mp.weixin.qq.com/s/LGJvvhotSg7XMn8mg3TZUw
2) 知乎: 如何评价 BERT 模型? https://www.zhihu.com/question/298203515
3) [NLP] Google BERT 详解 https://zhuanlan.zhihu.com/p/46652512
4) [NLP 自然语言处理] 谷歌 BERT 模型深度解析
5) BERT Explained: State of the art language model for NLP
3, 第三方代码:
1) pytorch-pretrained-BERT:
Google 官方推荐的 PyTorch BERB 版本实现, 可加载 Google 预训练的模型: PyTorch version of Google AI's BERT model with script to load Google's pre-trained models
2) BERT-pytorch: https://github.com/codertimo/BERT-pytorch
另一个 Pytorch 版本实现: Google AI 2018 BERT pytorch implementation
3) BERT-tensorflow: https://github.com/guotong1988/BERT-tensorflow
Tensorflow 版本: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
4) bert-chainer: https://github.com/soskek/bert-chainer
Chanier 版本: Chainer implementation of "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"
5) bert-as-service: https://github.com/hanxiao/bert-as-service
将不同长度的句子用 BERT 预训练模型编码, 映射到一个固定长度的向量上: Mapping a variable-length sentence to a fixed-length vector using pretrained BERT model
这个很有意思, 在这个基础上稍进一步是否可以做一个句子相似度计算服务? 有没有同学一试?
6) bert_language_understanding:
BERT 实战: Pre-training of Deep Bidirectional Transformers for Language Understanding: pre-train TextCNN
7) sentiment_analysis_fine_grain:
BERT 实战, 多标签文本分类, 在 AI Challenger 2018 细粒度情感分析任务上的尝试: Multi-label Classification with BERT; Fine Grained Sentiment Analysis from AI challenger
8) BERT-NER: https://github.com/kyzhouhzau/BERT-NER
BERT 实战, 命名实体识别: Use google BERT to do CoNLL-2003 NER !
来源: http://www.tuicool.com/articles/qQ7n6na