分詞應用的是Jieba分詞工具，將爬取得到的新聞進行中文分詞，也就是為了得到以後檢索要用到的關鍵詞。我們給每個關鍵詞建立一個單獨的索引，引入間接桶，應用倒排索引的方法實現最終的結果。

        建立倒排索引的過程其實主要是做好資料結構的過程。如何存放每個關鍵詞，間接桶使用哪種資料型別，最終的索引如何實現，都是建立好這個索引結構的關鍵。

        主要使用3個字典進行資料的存放，分別為title_dict、tags、word_dict。

1、標題字典（title_dict）

鍵：1、2、3、4、5……
值：每個標題的內容

2、分詞後的字典（tags）

鍵：1、2、3、4、5……
值：每個標題分詞後的關鍵詞列表

3、倒排列表（word_dict）

鍵：索引關鍵詞
值：對應的標題ID

程式碼如下：

import jieba
import jieba.analyse

#記錄檔案中有多少行標題 記錄在count中
count=0
for line in open("jia.txt","r",encoding='utf-8'):
    count=count+1


#新建字典title_dict,鍵對應（1-5294）的數字，值是對應的新聞標題
    
title_dict={}

f=open("jia.txt","r",encoding='utf-8')
i=1
#將文字的每行標題存入字典
for line in open("jia.txt","r",encoding='utf-8'):
    #新增一個刪除字串末尾/n的操作
    title_dict[i]=line
    i=i+1
   # print(line)

#將字典title_dict中的值分別進行分詞操作
seg_list={}
tags={}
#將分詞存入tags字典，鍵為1-5294，值為對應的分片語成的列表
for j in range(1,count+1):
    #搜尋引擎模式
    seg_list[j] =jieba.cut_for_search(title_dict.get(j))
    #精確模式
    #seg_list[j]=jieba.cut(title_dict.get(j),cut_all=True)
    tags[j]=jieba.analyse.extract_tags(title_dict.get(j), topK=40)
    
# print(tags)


#將分詞後的結果存入詞項字典
word_dict={}
for k in range(1,count+1):
    for z in range(0,int(len(tags.get(k))-1)):   #字典中每個值中，元素的個數
        word_dict.setdefault(tags.get(k)[z])
        if(word_dict.get(tags.get(k)[z])==None):
            word_dict[tags.get(k)[z]]=[]
            word_dict[tags.get(k)[z]].append(k)
        else:
            word_dict[tags.get(k)[z]].append(k)