通常，我們在做分詞的時候，需要用到jieba(中文分詞)，或直接以空格進行分詞（英文分詞）等，下面會介紹一下一個簡單的中文分詞工具的實現方式。

首先是準備詞庫

我們可以利用清華大學開源詞庫或其他人分享的詞庫等建立分詞詞庫，本篇是拿一個本地檔案舉例建立的詞庫。

import pandas as pd
df = pd.read_excel('data/dic.xlsx',header=0)
#     TODO: 從dic中讀取所有中文詞
words =  [i[0] for i in np.array(df.iloc[:,0:1]).tolist()]

進行分詞

在這裡，我想實現的是，通過分詞詞庫，以list的方式返回所有可行的結果。邏輯可以參考leetcode上的

word-break-ii。
因為我們需要得到所有可行結果，這裡我們可以使用動態規劃的思路對問題進行細分：假如我們現在要切割的是字串s = ‘S1S2S3…S10’（Si表示字串中第i個字元），我們可以生成一個DP，其中DP[i]表示 S1S2…Si這一段字串是否完全可分。若DP[i]=True則完全可分，dp[i]=False則不完全可分。
引申到下一層，DP[i]=True則意味著:
DP[i-1] = True and Si in words
or DP[i-2] = True and S(i-1)Si in words
…
or DP[0] = True and S1S2…Si in words
例如，DP[1] = True 意味著:
S1 in words
然後DP[2] = True 意味著:
DP[1] = True and S2 in words
or S1S2 in words
以此類推，可以得到DP[1]至DP[i]的所有值（DP[0]固定為True）
轉換成程式碼，就是下面這樣:

def check(input_str,words):
    dp = [False for i in range(len(input_str)+1)]
    dp[0] = True
    for index in range(1,len(input_str)+1):    
        for i in range(0,index):
            if dp[i] is True and input_str[i:index] in words:
                dp[index] = True
    return dp[len(input_str)]
 

當拿到了DP後，我們使用DP對輸入的input做處理

res = []
def word_segment(input_str,strl=''):
    """
    對於輸入字串做分詞，並返回所有可行的分詞之後的結果。
    """
    if check(input_str,words):
        if len(input_str) == 0:
            res.append(strl[1:])
        for i in range(1, len(input_str)+1):
            if input_str[:i] in words:
                word_segment(input_str[i:],strl+' '+input_str[:i])
    return res 

到這裡，一個簡單的分詞工具就實現了，我們可以測試一下

print (word_segment("我們學習人工智慧人工智慧是未來"))

輸出結果

['我 們 學 習 人 工 智 能 人 工 智 能 是 未 來', '我 們 學 習 人 工 智 能 人 工 智 能 是 未來', '我 們 學 習 人 工 智 能 人 工 智慧 是 未 來', '我 們 學 習 人 工 智 能 人 工 智慧 是 未來', '我 們 學 習 人 工 智 能 人 工智 能 是 未 來', '我 們 學 習 人 工 智 能 人 工智 能 是 未來', '我 們 學 習 人 工 智 能 人工 智 能 是 未 來', '我 們 學 習 人 工 智 能 人工 智 能 是 未來', '我 們 學 習 人 工 智 能 人工 智慧 是 未 來', '我 們 學 習 人 工 智 能 人工 智慧 是 未來', '我 們 學 習 人 工 智 能 人工智慧 是 未 來', '我 們 學 習 人 工 智 能 人工智慧 是 未來', '我 們 學 習 人 工 智 能人 工 智 能 是 未 來', '我 們 學 習 人 工 智 能人 工 智 能 是 未來', '我 們 學 習 人 工 智 能人 工 智慧 是 未 來', '我 們 學 習 人 工 智 能人 工 智慧 是 未來', '我 們 學 習 人 工 智 能人 工智 能 是 未 來', '我 們 學 習 人 工 智 能人 工智 能 是 未來', '我 們 學 習 人 工 智慧 人 工 智 能 是 未 來', '我 們 學 習 人 工 智慧 人 工 智 能 是 未來', '我 們 學 習 人 工 智慧 人 工 智慧 是 未 來', '我 們 學 習 人 工 智慧 人 工 智慧 是 未來', '我 們 學 習 人 工 智慧 人 工智 能 是 未 來', '我 們 學 習 人 工 智慧 人 工智 能 是 未來', '我 們 學 習 人 工 智慧 人工 智 能 是 未 來', '我 們 學 習 人 工 智慧 人工 智 能 是 未來', '我 們 學 習 人 工 智慧 人工 智慧 是 未 來', '我 們 學 習 人 工 智慧 人工 智慧 是 未來', '我 們 學 習 人 工 智慧 人工智慧 是 未 來', '我 們 學 習 人 工 智慧 人工智慧 是 未來', '我 們 學 習 人 工智 能 人 工 智 能 是 未 來', '我 們 學 習 人 工智 能 人 工 智 能 是 未來', '我 們 學 習 人 工智 能 人 工 智慧 是 未 來', '我 們 學 習 人 工智 能 人 工 智慧 是 未來', '我 們 學 習 人 工智 能 人 工智 能 是 未 來', '我 們 學 習 人 工智 能 人 工智 能 是 未來', '我 們 學 習 人 工智 能 人工 智 能 是 未 來', '我 們 學 習 人 工智 能 人工 智 能 是 未來', '我 們 學 習 人 工智 能 人工 智慧 是 未 來', '我 們 學 習 人 工智 能 人工 智慧 是 未來', '我 們 學 習 人 工智 能 人工智慧 是 未 來', '我 們 學 習 人 工智 能 人工智慧 是 未來', '我 們 學 習 人 工智 能人 工 智 能 是 未 來', '我 們 學 習 人 工智 能人 工 智 能 是 未來', '我 們 學 習 人 工智 能人 工 智慧 是 未 來', '我 們 學 習 人 工智 能人 工 智慧 是 未來', '我 們 學 習 人 工智 能人 工智 能 是 未 來', '我 們 學 習 人 工智 能人 工智 能 是 未來', '我 們 學 習 人工 智 能 人 工 智 能 是 未 來', '我 們 學 習 人工 智 能 人 工 智 能 是 未來', '我 們 學 習 人工 智 能 人 工 智慧 是 未 來', '我 們 學 習 人工 智 能 人 工 智慧 是 未來', '我 們 學 習 人工 智 能 人 工智 能 是 未 來', '我 們 學 習 人工 智 能 人 工智 能 是 未來', '我 們 學 習 人工 智 能 人工 智 能 是 未 來', '我 們 學 習 人工 智 能 人工 智 能 是 未來', '我 們 學 習 人工 智 能 人工 智慧 是 未 來', '我 們 學 習 人工 智 能 人工 智慧 是 未來', '我 們 學 習 人工 智 能 人工智慧 是 未 來', '我 們 學 習 人工 智 能 人工智慧 是 未來', '我 們 學 習 人工 智 能人 工 智 能 是 未 來', '我 們 學 習 人工 智 能人 工 智 能 是 未來', '我 們 學 習 人工 智 能人 工 智慧 是 未 來', '我 們 學 習 人工 智 能人 工 智慧 是 未來', '我 們 學 習 人工 智 能人 工智 能 是 未 來', '我 們 學 習 人工 智 能人 工智 能 是 未來', '我 們 學 習 人工 智慧 人 工 智 能 是 未 來', '我 們 學 習 人工 智慧 人 工 智 能 是 未來', '我 們 學 習 人工 智慧 人 工 智慧 是 未 來', '我 們 學 習 人工 智慧 人 工 智慧 是 未來', '我 們 學 習 人工 智慧 人 工智 能 是 未 來', '我 們 學 習 人工 智慧 人 工智 能 是 未來', '我 們 學 習 人工 智慧 人工 智 能 是 未 來', '我 們 學 習 人工 智慧 人工 智 能 是 未來', '我 們 學 習 人工 智慧 人工 智慧 是 未 來', '我 們 學 習 人工 智慧 人工 智慧 是 未來', '我 們 學 習 人工 智慧 人工智慧 是 未 來', '我 們 學 習 人工 智慧 人工智慧 是 未來', '我 們 學 習 人工智慧 人 工 智 能 是 未 來', '我 們 學 習 人工智慧 人 工 智 能 是 未來', '我 們 學 習 人工智慧 人 工 智慧 是 未 來', '我 們 學 習 人工智慧 人 工 智慧 是 未來', '我 們 學 習 人工智慧 人 工智 能 是 未 來', '我 們 學 習 人工智慧 人 工智 能 是 未來', '我 們 學 習 人工智慧 人工 智 能 是 未 來', '我 們 學 習 人工智慧 人工 智 能 是 未來', '我 們 學 習 人工智慧 人工 智慧 是 未 來', '我 們 學 習 人工智慧 人工 智慧 是 未來', '我 們 學 習 人工智慧 人工智慧 是 未 來', '我 們 學 習 人工智慧 人工智慧 是 未來', '我 們 學習 人 工 智 能 人 工 智 能 是 未 來', '我 們 學習 人 工 智 能 人 工 智 能 是 未來', '我 們 學習 人 工 智 能 人 工 智慧 是 未 來', '我 們 學習 人 工 智 能 人 工 智慧 是 未來', '我 們 學習 人 工 智 能 人 工智 能 是 未 來', '我 們 學習 人 工 智 能 人 工智 能 是 未來', '我 們 學習 人 工 智 能 人工 智 能 是 未 來', '我 們 學習 人 工 智 能 人工 智 能 是 未來', '我 們 學習 人 工 智 能 人工 智慧 是 未 來', '我 們 學習 人 工 智 能 人工 智慧 是 未來', '我 們 學習 人 工 智 能 人工智慧 是 未 來', '我 們 學習 人 工 智 能 人工智慧 是 未來', '我 們 學習 人 工 智 能人 工 智 能 是 未 來', '我 們 學習 人 工 智 能人 工 智 能 是 未來', '我 們 學習 人 工 智 能人 工 智慧 是 未 來', '我 們 學習 人 工 智 能人 工 智慧 是 未來', '我 們 學習 人 工 智 能人 工智 能 是 未 來', '我 們 學習 人 工 智 能人 工智 能 是 未來', '我 們 學習 人 工 智慧 人 工 智 能 是 未 來', '我 們 學習 人 工 智慧 人 工 智 能 是 未來', '我 們 學習 人 工 智慧 人 工 智慧 是 未 來', '我 們 學習 人 工 智慧 人 工 智慧 是 未來', '我 們 學習 人 工 智慧 人 工智 能 是 未 來', '我 們 學習 人 工 智慧 人 工智 能 是 未來', '我 們 學習 人 工 智慧 人工 智 能 是 未 來', '我 們 學習 人 工 智慧 人工 智 能 是 未來', '我 們 學習 人 工 智慧 人工 智慧 是 未 來', '我 們 學習 人 工 智慧 人工 智慧 是 未來', '我 們 學習 人 工 智慧 人工智慧 是 未 來', '我 們 學習 人 工 智慧 人工智慧 是 未來', '我 們 學習 人 工智 能 人 工 智 能 是 未 來', '我 們 學習 人 工智 能 人 工 智 能 是 未來', '我 們 學習 人 工智 能 人 工 智慧 是 未 來', '我 們 學習 人 工智 能 人 工 智慧 是 未來', '我 們 學習 人 工智 能 人 工智 能 是 未 來', '我 們 學習 人 工智 能 人 工智 能 是 未來', '我 們 學習 人 工智 能 人工 智 能 是 未 來', '我 們 學習 人 工智 能 人工 智 能 是 未來', '我 們 學習 人 工智 能 人工 智慧 是 未 來', '我 們 學習 人 工智 能 人工 智慧 是 未來', '我 們 學習 人 工智 能 人工智慧 是 未 來', '我 們 學習 人 工智 能 人工智慧 是 未來', '我 們 學習 人 工智 能人 工 智 能 是 未 來', '我 們 學習 人 工智 能人 工 智 能 是 未來', '我 們 學習 人 工智 能人 工 智慧 是 未 來', '我 們 學習 人 工智 能人 工 智慧 是 未來', '我 們 學習 人 工智 能人 工智 能 是 未 來', '我 們 學習 人 工智 能人 工智 能 是 未來', '我 們 學習 人工 智 能 人 工 智 能 是 未 來', '我 們 學習 人工 智 能 人 工 智 能 是 未來', '我 們 學習 人工 智 能 人 工 智慧 是 未 來', '我 們 學習 人工 智 能 人 工 智慧 是 未來', '我 們 學習 人工 智 能 人 工智 能 是 未 來', '我 們 學習 人工 智 能 人 工智 能 是 未來', '我 們 學習 人工 智 能 人工 智 能 是 未 來', '我 們 學習 人工 智 能 人工 智 能 是 未來', '我 們 學習 人工 智 能 人工 智慧 是 未 來', '我 們 學習 人工 智 能 人工 智慧 是 未來', '我 們 學習 人工 智 能 人工智慧 是 未 來', '我 們 學習 人工 智 能 人工智慧 是 未來', '我 們 學習 人工 智 能人 工 智 能 是 未 來', '我 們 學習 人工 智 能人 工 智 能 是 未來', '我 們 學習 人工 智 能人 工 智慧 是 未 來', '我 們 學習 人工 智 能人 工 智慧 是 未來', '我 們 學習 人工 智 能人 工智 能 是 未 來', '我 們 學習 人工 智 能人 工智 能 是 未來', '我 們 學習 人工 智慧 人 工 智 能 是 未 來', '我 們 學習 人工 智慧 人 工 智 能 是 未來', '我 們 學習 人工 智慧 人 工 智慧 是 未 來', '我 們 學習 人工 智慧 人 工 智慧 是 未來', '我 們 學習 人工 智慧 人 工智 能 是 未 來', '我 們 學習 人工 智慧 人 工智 能 是 未來', '我 們 學習 人工 智慧 人工 智 能 是 未 來', '我 們 學習 人工 智慧 人工 智 能 是 未來', '我 們 學習 人工 智慧 人工 智慧 是 未 來', '我 們 學習 人工 智慧 人工 智慧 是 未來', '我 們 學習 人工 智慧 人工智慧 是 未 來', '我 們 學習 人工 智慧 人工智慧 是 未來', '我 們 學習 人工智慧 人 工 智 能 是 未 來', '我 們 學習 人工智慧 人 工 智 能 是 未來', '我 們 學習 人工智慧 人 工 智慧 是 未 來', '我 們 學習 人工智慧 人 工 智慧 是 未來', '我 們 學習 人工智慧 人 工智 能 是 未 來', '我 們 學習 人工智慧 人 工智 能 是 未來', '我 們 學習 人工智慧 人工 智 能 是 未 來', '我 們 學習 人工智慧 人工 智 能 是 未來', '我 們 學習 人工智慧 人工 智慧 是 未 來', '我 們 學習 人工智慧 人工 智慧 是 未來', '我 們 學習 人工智慧 人工智慧 是 未 來', '我 們 學習 人工智慧 人工智慧 是 未來', '我們 學 習 人 工 智 能 人 工 智 能 是 未 來', '我們 學 習 人 工 智 能 人 工 智 能 是 未來', '我們 學 習 人 工 智 能 人 工 智慧 是 未 來', '我們 學 習 人 工 智 能 人 工 智慧 是 未來', '我們 學 習 人 工 智 能 人 工智 能 是 未 來', '我們 學 習 人 工 智 能 人 工智 能 是 未來', '我們 學 習 人 工 智 能 人工 智 能 是 未 來', '我們 學 習 人 工 智 能 人工 智 能 是 未來', '我們 學 習 人 工 智 能 人工 智慧 是 未 來', '我們 學 習 人 工 智 能 人工 智慧 是 未來', '我們 學 習 人 工 智 能 人工智慧 是 未 來', '我們 學 習 人 工 智 能 人工智慧 是 未來', '我們 學 習 人 工 智 能人 工 智 能 是 未 來', '我們 學 習 人 工 智 能人 工 智 能 是 未來', '我們 學 習 人 工 智 能人 工 智慧 是 未 來', '我們 學 習 人 工 智 能人 工 智慧 是 未來', '我們 學 習 人 工 智 能人 工智 能 是 未 來', '我們 學 習 人 工 智 能人 工智 能 是 未來', '我們 學 習 人 工 智慧 人 工 智 能 是 未 來', '我們 學 習 人 工 智慧 人 工 智 能 是 未來', '我們 學 習 人 工 智慧 人 工 智慧 是 未 來', '我們 學 習 人 工 智慧 人 工 智慧 是 未來', '我們 學 習 人 工 智慧 人 工智 能 是 未 來', '我們 學 習 人 工 智慧 人 工智 能 是 未來', '我們 學 習 人 工 智慧 人工 智 能 是 未 來', '我們 學 習 人 工 智慧 人工 智 能 是 未來', '我們 學 習 人 工 智慧 人工 智慧 是 未 來', '我們 學 習 人 工 智慧 人工 智慧 是 未來', '我們 學 習 人 工 智慧 人工智慧 是 未 來', '我們 學 習 人 工 智慧 人工智慧 是 未來', '我們 學 習 人 工智 能 人 工 智 能 是 未 來', '我們 學 習 人 工智 能 人 工 智 能 是 未來', '我們 學 習 人 工智 能 人 工 智慧 是 未 來', '我們 學 習 人 工智 能 人 工 智慧 是 未來', '我們 學 習 人 工智 能 人 工智 能 是 未 來', '我們 學 習 人 工智 能 人 工智 能 是 未來', '我們 學 習 人 工智 能 人工 智 能 是 未 來', '我們 學 習 人 工智 能 人工 智 能 是 未來', '我們 學 習 人 工智 能 人工 智慧 是 未 來', '我們 學 習 人 工智 能 人工 智慧 是 未來', '我們 學 習 人 工智 能 人工智慧 是 未 來', '我們 學 習 人 工智 能 人工智慧 是 未來', '我們 學 習 人 工智 能人 工 智 能 是 未 來', '我們 學 習 人 工智 能人 工 智 能 是 未來', '我們 學 習 人 工智 能人 工 智慧 是 未 來', '我們 學 習 人 工智 能人 工 智慧 是 未來', '我們 學 習 人 工智 能人 工智 能 是 未 來', '我們 學 習 人 工智 能人 工智 能 是 未來', '我們 學 習 人工 智 能 人 工 智 能 是 未 來', '我們 學 習 人工 智 能 人 工 智 能 是 未來', '我們 學 習 人工 智 能 人 工 智慧 是 未 來', '我們 學 習 人工 智 能 人 工 智慧 是 未來', '我們 學 習 人工 智 能 人 工智 能 是 未 來', '我們 學 習 人工 智 能 人 工智 能 是 未來', '我們 學 習 人工 智 能 人工 智 能 是 未 來', '我們 學 習 人工 智 能 人工 智 能 是 未來', '我們 學 習 人工 智 能 人工 智慧 是 未 來', '我們 學 習 人工 智 能 人工 智慧 是 未來', '我們 學 習 人工 智 能 人工智慧 是 未 來', '我們 學 習 人工 智 能 人工智慧 是 未來', '我們 學 習 人工 智 能人 工 智 能 是 未 來', '我們 學 習 人工 智 能人 工 智 能 是 未來', '我們 學 習 人工 智 能人 工 智慧 是 未 來', '我們 學 習 人工 智 能人 工 智慧 是 未來', '我們 學 習 人工 智 能人 工智 能 是 未 來', '我們 學 習 人工 智 能人 工智 能 是 未來', '我們 學 習 人工 智慧 人 工 智 能 是 未 來', '我們 學 習 人工 智慧 人 工 智 能 是 未來', '我們 學 習 人工 智慧 人 工 智慧 是 未 來', '我們 學 習 人工 智慧 人 工 智慧 是 未來', '我們 學 習 人工 智慧 人 工智 能 是 未 來', '我們 學 習 人工 智慧 人 工智 能 是 未來', '我們 學 習 人工 智慧 人工 智 能 是 未 來', '我們 學 習 人工 智慧 人工 智 能 是 未來', '我們 學 習 人工 智慧 人工 智慧 是 未 來', '我們 學 習 人工 智慧 人工 智慧 是 未來', '我們 學 習 人工 智慧 人工智慧 是 未 來', '我們 學 習 人工 智慧 人工智慧 是 未來', '我們 學 習 人工智慧 人 工 智 能 是 未 來', '我們 學 習 人工智慧 人 工 智 能 是 未來', '我們 學 習 人工智慧 人 工 智慧 是 未 來', '我們 學 習 人工智慧 人 工 智慧 是 未來', '我們 學 習 人工智慧 人 工智 能 是 未 來', '我們 學 習 人工智慧 人 工智 能 是 未來', '我們 學 習 人工智慧 人工 智 能 是 未 來', '我們 學 習 人工智慧 人工 智 能 是 未來', '我們 學 習 人工智慧 人工 智慧 是 未 來', '我們 學 習 人工智慧 人工 智慧 是 未來', '我們 學 習 人工智慧 人工智慧 是 未 來', '我們 學 習 人工智慧 人工智慧 是 未來', '我們 學習 人 工 智 能 人 工 智 能 是 未 來', '我們 學習 人 工 智 能 人 工 智 能 是 未來', '我們 學習 人 工 智 能 人 工 智慧 是 未 來', '我們 學習 人 工 智 能 人 工 智慧 是 未來', '我們 學習 人 工 智 能 人 工智 能 是 未 來', '我們 學習 人 工 智 能 人 工智 能 是 未來', '我們 學習 人 工 智 能 人工 智 能 是 未 來', '我們 學習 人 工 智 能 人工 智 能 是 未來', '我們 學習 人 工 智 能 人工 智慧 是 未 來', '我們 學習 人 工 智 能 人工 智慧 是 未來', '我們 學習 人 工 智 能 人工智慧 是 未 來', '我們 學習 人 工 智 能 人工智慧 是 未來', '我們 學習 人 工 智 能人 工 智 能 是 未 來', '我們 學習 人 工 智 能人 工 智 能 是 未來', '我們 學習 人 工 智 能人 工 智慧 是 未 來', '我們 學習 人 工 智 能人 工 智慧 是 未來', '我們 學習 人 工 智 能人 工智 能 是 未 來', '我們 學習 人 工 智 能人 工智 能 是 未來', '我們 學習 人 工 智慧 人 工 智 能 是 未 來', '我們 學習 人 工 智慧 人 工 智 能 是 未來', '我們 學習 人 工 智慧 人 工 智慧 是 未 來', '我們 學習 人 工 智慧 人 工 智慧 是 未來', '我們 學習 人 工 智慧 人 工智 能 是 未 來', '我們 學習 人 工 智慧 人 工智 能 是 未來', '我們 學習 人 工 智慧 人工 智 能 是 未 來', '我們 學習 人 工 智慧 人工 智 能 是 未來', '我們 學習 人 工 智慧 人工 智慧 是 未 來', '我們 學習 人 工 智慧 人工 智慧 是 未來', '我們 學習 人 工 智慧 人工智慧 是 未 來', '我們 學習 人 工 智慧 人工智慧 是 未來', '我們 學習 人 工智 能 人 工 智 能 是 未 來', '我們 學習 人 工智 能 人 工 智 能 是 未來', '我們 學習 人 工智 能 人 工 智慧 是 未 來', '我們 學習 人 工智 能 人 工 智慧 是 未來', '我們 學習 人 工智 能 人 工智 能 是 未 來', '我們 學習 人 工智 能 人 工智 能 是 未來', '我們 學習 人 工智 能 人工 智 能 是 未 來', '我們 學習 人 工智 能 人工 智 能 是 未來', '我們 學習 人 工智 能 人工 智慧 是 未 來', '我們 學習 人 工智 能 人工 智慧 是 未來', '我們 學習 人 工智 能 人工智慧 是 未 來', '我們 學習 人 工智 能 人工智慧 是 未來', '我們 學習 人 工智 能人 工 智 能 是 未 來', '我們 學習 人 工智 能人 工 智 能 是 未來', '我們 學習 人 工智 能人 工 智慧 是 未 來', '我們 學習 人 工智 能人 工 智慧 是 未來', '我們 學習 人 工智 能人 工智 能 是 未 來', '我們 學習 人 工智 能人 工智 能 是 未來', '我們 學習 人工 智 能 人 工 智 能 是 未 來', '我們 學習 人工 智 能 人 工 智 能 是 未來', '我們 學習 人工 智 能 人 工 智慧 是 未 來', '我們 學習 人工 智 能 人 工 智慧 是 未來', '我們 學習 人工 智 能 人 工智 能 是 未 來', '我們 學習 人工 智 能 人 工智 能 是 未來', '我們 學習 人工 智 能 人工 智 能 是 未 來', '我們 學習 人工 智 能 人工 智 能 是 未來', '我們 學習 人工 智 能 人工 智慧 是 未 來', '我們 學習 人工 智 能 人工 智慧 是 未來', '我們 學習 人工 智 能 人工智慧 是 未 來', '我們 學習 人工 智 能 人工智慧 是 未來', '我們 學習 人工 智 能人 工 智 能 是 未 來', '我們 學習 人工 智 能人 工 智 能 是 未來', '我們 學習 人工 智 能人 工 智慧 是 未 來', '我們 學習 人工 智 能人 工 智慧 是 未來', '我們 學習 人工 智 能人 工智 能 是 未 來', '我們 學習 人工 智 能人 工智 能 是 未來', '我們 學習 人工 智慧 人 工 智 能 是 未 來', '我們 學習 人工 智慧 人 工 智 能 是 未來', '我們 學習 人工 智慧 人 工 智慧 是 未 來', '我們 學習 人工 智慧 人 工 智慧 是 未來', '我們 學習 人工 智慧 人 工智 能 是 未 來', '我們 學習 人工 智慧 人 工智 能 是 未來', '我們 學習 人工 智慧 人工 智 能 是 未 來', '我們 學習 人工 智慧 人工 智 能 是 未來', '我們 學習 人工 智慧 人工 智慧 是 未 來', '我們 學習 人工 智慧 人工 智慧 是 未來', '我們 學習 人工 智慧 人工智慧 是 未 來', '我們 學習 人工 智慧 人工智慧 是 未來', '我們 學習 人工智慧 人 工 智 能 是 未 來', '我們 學習 人工智慧 人 工 智 能 是 未來', '我們 學習 人工智慧 人 工 智慧 是 未 來', '我們 學習 人工智慧 人 工 智慧 是 未來', '我們 學習 人工智慧 人 工智 能 是 未 來', '我們 學習 人工智慧 人 工智 能 是 未來', '我們 學習 人工智慧 人工 智 能 是 未 來', '我們 學習 人工智慧 人工 智 能 是 未來', '我們 學習 人工智慧 人工 智慧 是 未 來', '我們 學習 人工智慧 人工 智慧 是 未來', '我們 學習 人工智慧 人工智慧 是 未 來', '我們 學習 人工智慧 人工智慧 是 未來']

總結

當然，我們沒有對資料進行進一步的處理，例如去除標點符號或者詞幹提取等。而且分詞的效能較差，可以一個簡單的句子處理就需要好幾秒，在實際使用中需要對分詞的效能進行進一步的優化。