一,開篇

    本人蔘加了第六屆泰迪杯，並且選擇了C題。是一道文字檢索的問題。要求是：可以根據官方給出的訓練集跟測試集，最後在最後測試集中執行演算法進行答案回答，完全相關為1，完全不相關為0.資料模式如圖：

二.預處理

    首先提取相關檔案。文件檔案為json格式檔案，用python進行這次比賽。對於json檔案，可用import json進行提取。其中的json.load()函式提取出來。需要注意的是檔案中，以一個問題一個物件進行儲存，訓練集總共5000個問題。每個問題中又包括問題id(item_id)，數個問題，問題有包括了內容跟passage_id。而對於答案的提問則在每個問題的最後。以下是提取部分的程式碼：

with open (filepath,'r',encoding='utf-8') as f:
        with open (filepath1, 'w', encoding='utf-8') as a:
            with open (filepath2, 'w', encoding='utf-8') as b:
                lines = json.load(f)
                for line in lines:
                    a.write(line['question']+'\n')
                    x.append(line['item_id'])
                    for kk in line['passages']:
                        b.write(kk['content']+'\n')
                        y.append(kk['passage_id'])
 

    提取出來後，查閱了相關各類資料，文獻。相關資料在最後附上。

    對於文字檢索問題，首先需要進行對於句子或是文章的分解，將其分解為一個個詞語。這時候可以下載jieba包，之後可以直接import jieba對文字進行分詞操作。分詞後，可以發現詞語中有很多無關詞語，這些我們將此稱為停用詞。我們應當將其全部去掉，否則會影響最後的正確率。而停用詞網上也有已經完好的停用詞庫，大家可以自己下載使用。附上程式碼：

def stopwordslist(filepath):
    stopwords = [line.strip () for line in open (filepath, 'r').readlines ()]
    return stopwords

# 對句子進行分詞
def seg_sentence(sentence):
    sence =jieba.cut (sentence, cut_all=False)
    sentence_seged =sence.split(" ")
    stopwords = stopwordslist ("C:\\Users\\lenovo\\Desktop\\bear\\stop.txt")  # 這裡載入停用詞的路徑
    outstr = ''
    for word in sentence_seged:
        if word not in stopwords:
            if word != '\t':
                outstr += word
                outstr += " "
    outstr +='\n'
    return outstr
 

    在以上步驟完成後，初步資料的清洗操作完成。

三.模型建立

    對於文字檢索來說，廣泛使用了神經網路。我推薦大家看一下《面向高考閱讀理解觀點類問題的答案抽取方法》這篇論文。我們最後打算根據文獻，使用word2vec+SVM+LDA。博主寫得是word2vec方面，最後三個演算法在合起來加權。

 word2vec就是對word進行embedding

首先,我們知道,在機器學習和深度學習中,對word的最簡單的表示就是使用one-hot([0,0,1,0,0…..]來表示一個word). 但是用one-hot表示一個word的話,會有一些弊端:從向量中無法看出word之間的關係((wworda)Twwordb=0

(wworda)Twwordb=0),而且向量也太稀疏. 所以一些人就想著能否用更小的向量來表示一個word,希望這些向量能夠承載一些語法和語義上的資訊, 這就產生了word2vec

而已經有人對於word2vec進行了打包處理，各位可以直接下載使用，它在genism裡面。

使用時候直接可以from gensim.models import word2vec

當你匯入後，訓練模型只需要一句話model=word2vec.Word2Vec(sentence,min_count=10,size=50)

儲存的時候使用model.save('/model/word2vec_model')就行

匯入的時候也是一句話model = word2vec.Word2Vec.load("\word2vec_model.model")

python中的word2vec自帶了許多功能函式。接來下講幾個基礎的

model.similarity(u"高速", u"火車")#計算兩個詞之間的餘弦距離

model.most_similar(u"高速")#計算餘弦距離最接近“滋潤”的10個詞

但你可以發現這些都是單個詞彙的相似性問題，處理句子的演算法如下：

def pipei(s1="",s2=""):
    results=[]
    k = 0
    for i in s1:
        result=0
        for j in s2:
            try:
                result = max(model.similarity(i,j),result)
            except KeyError:
                if i==j:
                    result = 1
        results.append(result)
    for kk in results:
        k = k+kk
    return k/len(s1)
def pp(s1,s2):
    return (pipei(s1,s2)+pipei(s2,s1))/2

自此，你可以求出兩個句子之間的相似性，你可以用它去測量問題跟答案之間的相似度。

由於問題的id跟答案的id前五位是相同的，我們以此為匹配條件，進行匹配，進行迴圈。測量出的結果大概是83%左右。

之後再跟同學的演算法進行加權，這裡就不進行細說了。

PS:word2vec本質上是一層神經網路，正確率問題應該不高，但是這次由於理解錯官方意思，在其他方面忙活了很久。耽誤了時間。

第一次參賽，希望大佬不要吐槽。