共指消解        首先簡要地說說共指消解是什麼,有什麼用處。假設機器正在閱讀一個這樣的文字: 克勞德·莫奈是印象派代表人物和創始人之一。 他最重要的風格是改變了陰影和輪廓線的畫法。 1 2         如果機器想要從這段話中瞭解到關於莫奈風格的知識，它首先必須知道，第二句話中的“他”指的就是莫奈。弄清代詞的指代就是共指消解中的一個典型任務。         關於共指消解，更詳細的概念可以參照： https://blog.csdn.net/qjc937044867/article/details/51694547         下面直接引出解決這個問題的一個開源工具——NeuralCoref。 NeuralCoref         Github官網：https://github.com/huggingface/neuralcoref         NeuralCoref是使用時下先進神經網路技術完成指代消解任務的一個工具。它不是一個獨立的python庫， 而是另一個高速強大的python自然語言處理庫——spaCy的一個拓展包，因此，要使用這個工具首先要安裝spaCy: pip install spacy 1        然後，再安裝NeuralCoref支援的幾個模型，下面的例子中，我會使用面向英語的小模型，安裝方法如下： pip install https://github.com/huggingface/neuralcoref-models/releases/download/en_coref_sm-3.0.0/en_coref_sm-3.0.0.tar.gz 1        如果需要更大的詞彙量和準確率，把連結中的sm改成md/lg就可以下載對應的中模型和大模型。 基本用法         下面用jupyter notebook展示其基本用法：

# coding: utf-8

# In[1]:


import warnings
warnings.filterwarnings("ignore")

import spacy
nlp = spacy.load('en_coref_sm')             # 引用小的英語指代模型


# In[2]:


doc = nlp(u'My sister has a dog. She loves him.')

print(doc._.has_coref)                      # 是否有指代？
print(doc._.coref_clusters)                 # 共指鏈組成的列表
print(doc._.coref_resolved)                 # 將代詞用指代簇中的主要描述代替後的文字


# 下面的例子中我們可以獲得更多詳細資訊。

# In[3]:


doc = nlp(u'My sister has a dog. She loves him')
print(doc.text)                       # 重新獲得文字內容,string物件
for clust in doc._.coref_clusters:
    clust_id = clust.i                # 該指代在本文件中所有指代中的序號 
    main_mention = clust.main         # 主描述，共指鏈中的代表詞語
    print("appearance of cluster %d: %s" % (clust_id,main_mention))
    for mention in clust.mentions:
        print("\t%s at [%d,%d]" % (mention.text,mention.start_char,mention.end_char))


#         這個例子揭示了共指消解中的3層的結構，Doc[文件]-cluster[共指鏈，代表同一實體的所有物件]-mention[共指鏈中的描述，實體的一個描述]。其中我們得到了共指鏈的代表詞和每個個別描述在原文中的位置，這些將有助於我們還原文字或幹一些別的事情（儘管已經有了coref_resolved，有時候我們還是需要做出一些特別的修改，後面的一篇文章中我就會用到它們。）。

#         以上例子已經揭示了這個工具的主要功能。這裡再提供一些細節，Document下面有3種結構，下面列出它們支援的方法。

# In[4]:


doc = nlp(u'My sister has a dog. She loves him')

clust1 = doc._.coref_clusters[1]                        # Cluster，一個共指鏈
print(clust1.i)                                         # 該指代在本文件中所有指代中的序號 
print(clust1.mentions)                                  # 本共指鏈中的所有物件
print(clust1.main)                                      # 主描述，共指鏈中的代表詞語
print(clust1.mentions[-1]._.coref_cluster)              # _.coref_cluster【該物件所處的共指鏈】


# In[5]:


token = doc[-1]                                         # token，相當於一個詞語
print(token._.in_coref)                                 # 是否在至少一個共指鏈中
print(token._.coref_clusters)                           # 包括這個token的所有共指鏈
# 遍歷所有token
for tok in doc:
    print(tok,end = " ")
print()


# In[6]:


span = doc[-1:]                                         # span，doc中的一個部分
print(span._.is_coref)                                  # 是否至少包含了一個共指物件
print(span._.coref_cluster.main)
print(span._.coref_cluster.main._.coref_cluster)
 

下一篇文章裡，我會再嘗試共指消解的一個有趣應用： NeuralCoref: 用指代消解來做一個“能多輪對話的問答對話機器人” --------------------- 本文來自 blmoistawinde 的CSDN 部落格 ，全文地址請點選：https://blog.csdn.net/blmoistawinde/article/details/81782971?utm_source=copy