2. 程式人生 > 實用技巧 >TENER: Adapting Transformer Encoder for Named Entity Recognition TENER命名實體識別 思維導圖筆記

TENER: Adapting Transformer Encoder for Named Entity Recognition TENER命名實體識別 思維導圖筆記

阿新 • • 發佈：2020-10-17

TENER 命名實體識別論文

  • TENER: Adapting Transformer Encoder for Named Entity Recognition
  • TENER:適用於命名實體識別的改進Transformer
  • 作者: Hang Yan, Bocao Deng等
  • 單位:復旦大學
  • 發表會議及時間: ACL2019

思維導圖

在這裡插入圖片描述

模型架構

在這裡插入圖片描述
英文NER: Character Embedding + Extracted Character Features + Word Embedding
中文NER: Character Embedding

細節一：改進的Transformer編碼器

在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述

論證了兩個位置向量的點積可以反映單詞間距離

在這裡插入圖片描述

在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述

細節二：改進Transformer應用於NER任務

1. TENER

在這裡插入圖片描述
2. FLAT

在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述

總結

關鍵點

  1. 使用Transformer進行特徵抽取,提高推斷速度
  2. 更改絕對位置編碼

創新點

  1. 優化Transformer,增加距離與方向感知的注意力
  2. 使用非縮放的點乘注意力機制

另外，這個部落格講的比較好，可以參考：
TENER: Adapting Transformer Encoder for Named Entity Recognition

命名實體識別新SOTA：改進Transformer模型

相關推薦

TENER: Adapting Transformer Encoder for Named Entity Recognition TENER命名實體識別 思維導圖筆記

TENER 命名實體識別論文 TENER: Adapting Transformer Encoder for Named Entity RecognitionTENER:適用於命名實體識別的改進Transformer作者: Hang Yan, Bocao Deng等單位:復旦大學發表會議及時間: ACL2

【論文筆記】A Survey on Deep Learning for Named Entity Recognition

本筆記理出來綜述中的點，並將大體的論文都列出，方便日後調研使用查詢，詳細可以看論文。

《A Unified MRC Framework for Named Entity Recognition》ACL2020論文閱讀

技術標籤：論文閱讀深度學習自然語言處理論文aclmrc 機構為浙江大學、香儂科技。

Counterfactual Generator A Weakly-Supervised Method for Named Entity Recognition

Motivation 在命名體識別領域，由於選擇偏差的存在，模型對於訓練和測試分佈不一樣的資料表現很差，這背後的原因就是模型學習了資料中表現出的虛假因果關係。在這篇文章中，我們從因果角度主要研究NER問題中的虛假關

《A Lexicon-Based Graph Neural Network for Chinese NER》思維導圖筆記

A Lexicon-Based Graph Neural Network for Chinese NER 基於詞典的圖神經網路解決中文命名實體識別 作者: Tao Gui , Yicheng Zou等 單位:復旦大學 發表會議及時間: EMNLP2019

論文：BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision

題目：BOND：半監督的BERT開放域命名實體識別(2020年6月論文) 原文連結：https://arxiv.org/pdf/2006.15509

論文閱讀：Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning

題目：使用正-無標籤學習的遠端監督命名實體識別 論文地址：https://aclanthology.org/P19-1231/

思維導圖軟體哪個比較好呢？MindNode for mac一款功能簡單，介面簡潔

MindNode 破解版 for mac(思維導圖軟體) https://www.macw.com/mac/37.html?id=MzAyODU5Jl8mMTIxLjE5LjIyNS4xMzc%3D

Xmind 2021 for Mac(思維導圖軟體)v11.1.2中文版

XMind是一款實用的思維導圖軟體，簡單易用、美觀、功能強大，擁有高效的視覺化思維模式，具備可擴充套件、跨平臺、穩定性和效能，真正幫助使用者提高生產率，促進有效溝通及協作。

MindNode 5 for Mac(思維導圖)中文版

MindNode 5 for Mac是一款應用於mac平臺的思維導圖軟體產品，為使用者在靈感啟發、思緒整理、記憶協助、專案規劃、授課講演等諸多場景下提升學習和工作效率。通過導圖社群和雲檔案無縫連結使用者裝置，方便使用者隨時

XMind ZEN 2020 for mac(思維導圖軟體)中文版

為您帶來XMind ZEN 2020 for mac(思維導圖軟體)，Xmind ZEN 2020是一款全新的思維導圖軟體，Xmind ZEN採用全新的核心，擁有經典Xmind操作體驗，完美坐到一種全新卻不失經典的體驗。XMind 2020是一個全功能的思維導圖

NHibernate.HibernateException:“Unable to locate persister for the entity named 'Domain.Entity.LeaseUser'. - The mapping for 'Domain.Entity.LeaseUser' was not added to the NHibernate co

在使用NHiberanter，建立一個session上下文，進行語句執行時，出現了標題所示錯誤。控制檯呼叫程式碼如下：

Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition

Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition

長尾分佈之DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION

原始文件：https://www.yuque.com/lart/papers/drggso ICLR 2020的文章. 針對長尾分佈的分類問題提出了一種簡單有效的基於re-sample正規化的策略.

recognition vs classification，識別和分類的區別

recognition vs classification The field of recognition or pattern recognition is concerned with the automatic discovery of regularities in data through the use of computer algorithms and with the use

HRNetv1: Deep High-Resolution Representation Learning for Human Pose Estimation [1902.09212v1] - 論文研讀系列(5) 個人筆記

HRNet:Deep High-Resolution Representation Learning for Human Pose Estimation[1902.09212v1] 論文題目：Deep High-Resolution Representation Learning for Human Pose Estimation

【論文筆記】Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition

地址：https://arxiv.org/pdf/2006.11538.pdf github：https://github.com/iduta/pyconv 目前的卷積神經網路普遍使用3×3的卷積神經網路，通過堆疊3×3的卷積核和下采樣層，會在減少影象的大小的同時增加

深度學習論文翻譯解析（九）：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

論文標題：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition　　 　　　　標題翻譯：用於視覺識別的深度卷積神經網路中的空間金字塔池

Mybatis查詢sql傳入一個字串傳引數，報There is no getter for property named 'ids' in 'class java.lang.String'。

Mybatis查詢sql傳入一個字串傳引數，報There is no getter for property named \'ids\' in \'class java.lang.String\'。

org.apache.ibatis.reflection.ReflectionException: There is no getter for property named XXX 異常的解決辦法。(親測，一次成功!) #Mybatis

今天在用Mybatis的時，寫測試驗證插入操作時出現錯誤org.apache.ibatis.reflection.ReflectionException: There is no getter for property named XXX。