1. 程式人生 > >從 Word Embedding 到 Bert:一起肢解 Bert!

從 Word Embedding 到 Bert:一起肢解 Bert!

在 NLP 中,Bert 最近很火,是 NLP 重大進展的集大成者,是最近最火爆的 AI 進展之一。最新的 Google Bert 模型中我們有這樣的疑問:

  1. 什麼是 Bert,這個模型是怎麼來的;
  2. 重新整理了很多 NLP 的任務的最好效能,有些任務還被刷爆了,Bert 值得這麼高的評價嗎;
  3. 它有重大的理論或者模型創新嗎。

這篇 Chat 中除了得到以上疑問的答案,您可以得到:

  1. 從影象預訓練為例,解釋預訓練的過程和意義;
  2. Word Embedding 的發展歷程;
  3. "Embedding from Language Models”ELMO 模型講解;
  4. “Generative Pre-Training”GPT 模型講解;
  5. Bert 的誕生和“肢解”(ELMO 和 GPT 的優勢整合)。

閱讀全文: http://gitbook.cn/gitchat/activity/5c05f31f2749dc3af26ebd53

一場場看太麻煩?成為 GitChat 會員,暢享 1000+ 場 Chat !點選檢視