一，自然語言處理

自然語言處理(NLP) :自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理是一門融語言學、計算機科學、數學於一體的科學。因此，這一領域的研究將涉及自然語言，即人們日常使用的語言，所以它與語言學的研究有著密切的聯系，但又有重要的區別。自然語言處理並不是一般地研究自然語言，而在於研制能有效地實現自然語言通信的計算機系統，特別是其中的軟件系統。因而它是計算機科學的一部分。

讓計算機明白一句話要表達的意思,NLP就相當於計算機在思考你說的話,讓計算機知道"你是誰","你叫啥","你叫什麽名字"是一個意思

這就要做 : 語義相似度

二，jieba

第一個是將中文字符串進行分詞的庫叫 jieba

pip install jieba

我們通常把這個庫叫做 結巴分詞 確實是結巴分詞,而且這個詞庫是 made in china , 基本用一下這個結巴分詞:

import jieba

key_word = "你叫什麽名字"  # 定義一句話,基於這句話進行分詞

cut_word = jieba.cut(key_word)  # 使用結巴分詞中的cut方法對"你叫什麽名字" 進行分詞

print(cut_word)  # <generator object Tokenizer.cut at 0x03676390> # 生成器
 


cut_word_list = list(cut_word)  

print(cut_word_list)  # [‘你‘, ‘叫‘, ‘什麽‘, ‘名字‘]

三，gensim

一個語言訓練庫叫 gensim

pip install gensim

這個訓練庫很厲害, 裏面封裝很多機器學習的算法, 是目前人工智能的主流應用庫,這個不是很好理解, 需要一定的Python數據處理的功底

import jieba
import gensim
from gensim import corpora
from gensim import models
from
 
 gensim import similarities

l1 = ["你的名字是什麽", "你今年幾歲了", "你有多高你胸多大", "你胸多大"]
a = "你今年多大了"

all_doc_list = []
for doc in l1:
    doc_list = [word for word in jieba.cut(doc)]
    all_doc_list.append(doc_list)

print(all_doc_list)
doc_test_list = [word for word in jieba.cut(a)]

# 制作語料庫
dictionary = corpora.Dictionary(all_doc_list)  # 制作詞袋
# 詞袋的理解
# 詞袋就是將很多很多的詞,進行排列形成一個 詞(key) 與一個 標誌位(value) 的字典
# 例如: {‘什麽‘: 0, ‘你‘: 1, ‘名字‘: 2, ‘是‘: 3, ‘的‘: 4, ‘了‘: 5, ‘今年‘: 6, ‘幾歲‘: 7, ‘多‘: 8, ‘有‘: 9, ‘胸多大‘: 10, ‘高‘: 11}
# 至於它是做什麽用的,帶著問題往下看

print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# 語料庫:
# 這裏是將all_doc_list 中的每一個列表中的詞語 與 dictionary 中的Key進行匹配
# 得到一個匹配後的結果,例如[‘你‘, ‘今年‘, ‘幾歲‘, ‘了‘]
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出現一次, 5代表的是 了  1代表出現了一次, 以此類推 6 = 今年 , 7 = 幾歲
print("corpus", corpus, type(corpus))

# 將需要尋找相似度的分詞列表 做成 語料庫 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))

# 將corpus語料庫(初識語料庫) 使用Lsi模型進行訓練
lsi = models.LsiModel(corpus)
# 這裏的只是需要學習Lsi模型來了解的,這裏不做闡述
print("lsi", lsi, type(lsi))
# 語料庫corpus的訓練結果
print("lsi[corpus]", lsi[corpus])
# 獲得語料庫doc_test_vec 在 語料庫corpus的訓練結果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])

# 文本相似度
# 稀疏矩陣相似度 將 主 語料庫corpus的訓練結果 作為初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))

# 將 語料庫doc_test_vec 在 語料庫corpus的訓練結果 中的 向量表示 與 語料庫corpus的 向量表示 做矩陣相似度計算
sim = index[lsi[doc_test_vec]]

print("sim", sim, type(sim))

# 對下標和相似度結果進行一個排序,拿出相似度最高的結果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)

text = l1[cc[0][0]]

print(a,text)

四，pypinyin

pip install pypinyin

from pypinyin import TONE2, lazy_pinyin

a = lazy_pinyin("會當淩絕頂，一覽眾山小")  # 無音調
print(a)  # [‘hui‘, ‘dang‘, ‘ling‘, ‘jue‘, ‘ding‘, ‘，‘, ‘yi‘, ‘lan‘, ‘zhong‘, ‘shan‘, ‘xiao‘]

b = lazy_pinyin("會當淩絕頂，一覽眾山小", style=TONE2)  # 有音調
print(b)  # [‘hui4‘, ‘da1ng‘, ‘li2ng‘, ‘jue2‘, ‘di3ng‘, ‘，‘, ‘yi1‘, ‘la3n‘, ‘zho4ng‘, ‘sha1n‘, ‘xia3o‘]

c = lazy_pinyin("園園，圓圓，媛媛，苑苑", style=TONE2)
print(c)  # [‘yua2n‘, ‘yua2n‘, ‘，‘, ‘yua2n‘, ‘yua2n‘, ‘，‘, ‘yua4n‘, ‘yua4n‘, ‘，‘, ‘yua4n‘, ‘yua4n‘]

自然語言處理之jieba, gensim模塊