BERT最近太火，蹭個熱點，整理一下相關的資源，包括Paper, 程式碼和文章解讀。

1、Google官方:

1) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

一切始於10月Google祭出的這篇Paper, 瞬間引爆整個AI圈包括自媒體圈: https://arxiv.org/abs/1810.04805

2) Github: https://github.com/google-research/bert

11月Google推出了程式碼和預訓練模型，再次引起群體亢奮。

3) Google AI Blog: Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing

2、第三方解讀：
1) 張俊林博士的解讀， 知乎專欄：從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史

我們在AINLP微信公眾號上轉載了這篇文章和張俊林博士分享的PPT，歡迎關注：

• 從Word Embedding到Bert模型—自然語言處理中的預訓練技術發展史
• 預訓練在自然語言處理的發展: 從Word Embedding到BERT模型

2) 知乎: 如何評價 BERT 模型？

3) 【NLP】Google BERT詳解

4) [NLP自然語言處理]谷歌BERT模型深度解析

5) BERT Explained: State of the art language model for NLP

6) BERT介紹

7) 論文解讀:BERT模型及fine-tuning

8) NLP突破性成果 BERT 模型詳細解讀

9) 乾貨 | BERT fine-tune 終極實踐教程: 奇點智慧BERT實戰教程，在AI Challenger 2018閱讀理解任務中訓練一個79+的模型。

10) 【BERT詳解】《Dissecting BERT》by Miguel Romero Calvo

3、第三方程式碼：

1) pytorch-pretrained-BERT: https://github.com/huggingface/pytorch-pretrained-BERT
Google官方推薦的PyTorch BERB版本實現，可載入Google預訓練的模型：PyTorch version of Google AI's BERT model with script to load Google's pre-trained models

2) BERT-pytorch: https://github.com/codertimo/BERT-pytorch
另一個Pytorch版本實現：Google AI 2018 BERT pytorch implementation

3) BERT-tensorflow: https://github.com/guotong1988/BERT-tensorflow
Tensorflow版本：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

4) bert-chainer: https://github.com/soskek/bert-chainer
Chanier版本: Chainer implementation of "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"

5) bert-as-service: https://github.com/hanxiao/bert-as-service
將不同長度的句子用BERT預訓練模型編碼，對映到一個固定長度的向量上：Mapping a variable-length sentence to a fixed-length vector using pretrained BERT model
這個很有意思，在這個基礎上稍進一步是否可以做一個句子相似度計算服務？有沒有同學一試？

6) bert_language_understanding: https://github.com/brightmart/bert_language_understanding
BERT實戰：Pre-training of Deep Bidirectional Transformers for Language Understanding: pre-train TextCNN

7) sentiment_analysis_fine_grain: https://github.com/brightmart/sentiment_analysis_fine_grain
BERT實戰，多標籤文字分類，在 AI Challenger 2018 細粒度情感分析任務上的嘗試：Multi-label Classification with BERT; Fine Grained Sentiment Analysis from AI challenger

8) BERT-NER: https://github.com/kyzhouhzau/BERT-NER
BERT實戰，命名實體識別: Use google BERT to do CoNLL-2003 NER !

9) BERT-keras: https://github.com/Separius/BERT-keras
Keras版: Keras implementation of BERT with pre-trained weights

10) tbert: https://github.com/innodatalabs/tbert
PyTorch port of BERT ML model

11) BERT-Classification-Tutorial: https://github.com/Socialbird-AILab/BERT-Classification-Tutorial

12) BERT-BiLSMT-CRF-NER: https://github.com/macanv/BERT-BiLSMT-CRF-NER
Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning

13) bert-Chinese-classification-task
bert中文分類實踐

14) bert-chinese-ner: https://github.com/ProHiryu/bert-chinese-ner
使用預訓練語言模型BERT做中文NER

本文連結地址：BERT相關論文、文章和程式碼資源彙總 http://www.52nlp.cn/?p=10870

相關文章:

1. AI Challenger 2018 文字挖掘類競賽相關解決方案及程式碼彙總
2. AI Challenger 2018 進行時
3. 加速機器學習：從主動學習到BERT和流體標註
4. 斯坦福大學深度學習與自然語言處理第三講：高階的詞向量表示
5. AI Challenger 2018 細粒度使用者評論情感分析 fastText Baseline
6. 自然語言處理工具包spaCy介紹
7. 深度學習課程及深度學習公開課資源整理
8. 谷歌雲平臺上基於TensorFlow的高階機器學習專項課程
9. AI Challenger 2017 奇遇記
10. Andrew Ng 深度學習公開課系列第五門課程式列模型開課