自然語言處理人名識別常用詞典
1.中文常見姓氏詞典
該詞典來源於盤古分詞中文分詞開源軟體，盤古分詞用該詞典識別人名
http://pangusegment.codeplex.com/SourceControl/latest#PanGuSegment/PanGu/Dict/ChsName.cs
//有明顯歧異的姓氏
"王","張","黃","周","徐","胡","高","林","馬","於",
"程","傅","曾","葉","餘","夏","鍾","田","任","方",
"石","熊","白","毛","江","史","候","龍","萬","段",
"雷","錢","湯","易","常","武","賴","文","查"
//沒有明顯歧異的姓氏
"趙","肖","孫","李","吳","鄭","馮","陳",
"褚","衛","蔣","沈","韓","楊","朱","秦",
"尤","許","何","呂","施","桓","孔","曹",
"嚴","華","金","魏","陶","姜","戚","謝",
"鄒","喻","柏","竇","蘇","潘","葛","奚",
"範","彭","魯","韋","昌","俞","袁","酆",
"鮑","唐","費","廉","岑","薛","賀","倪",
"滕","殷","羅","畢","郝","鄔","卞","康",
"卜"
"湛","汪","祁","禹","狄","貝","臧","伏",
"戴","宋","茅","龐","紀","舒","屈","祝",
"董","樑","杜","阮","閔","賈","婁","顏",
"郭","邱","駱","蔡","樊","凌","霍","虞",
"柯","昝","盧","柯","繆","宗","丁","賁",
"鄧","鬱","杭","洪","崔","龔","嵇","邢"
1.中文常見姓氏詞典
該詞典來源於盤古分詞中文分詞開源軟體，盤古分詞用該詞典識別人名
http://pangusegment.codeplex.com/SourceControl/latest#PanGuSegment/PanGu/Dict/ChsName.cs
一 過濾文字
去除停用詞典和錯詞檢錯都可以用詞典的形式完成，以停用詞為例，我使用的應該是知網提供的中文停用詞典。測試的資料集是小學生數學題。
print(text) # 列印未去除停用詞前版本
with open(r"C:\Users\BF\Desktop\NLTK\stopwords.
轉載出處：https://blog.csdn.net/HHTNAN
中文文字糾錯劃分
中文文字糾錯任務，常見錯誤型別包括：
諧音字詞，如 配副眼睛-配副眼鏡
混淆音字詞，如 流浪織女-牛郎織女
字詞順序顛倒，如 伍迪艾倫-艾倫伍迪
字詞補全，如愛有天意-
程式例項：解析語音，開啟記事本,visual studio或瀏覽器（本例開啟的是chrome）。
可以擴充套件為執行其他任務，修改開啟程序的程式碼即可。
...
public partial class Form1 : Form
{
1. 引入System.Speech.dll2. 實現：
static void Main(string[] args)
{
SpeechS 建議 中心 這場 分詞 自然語言處理 目前 能力開放 計算 推薦算法
文本情感分析的基礎在於自然語言處理、情感詞典、機器學習方法等內容。以下是我總結的一些資源。
詞典資源：SentiWordNet《知網》中文版中文情感極性詞典 NTUSD情感詞匯本體下載
自然語言處理
宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84592596 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns
宣告：轉載請註明出處，謝謝：https://blog.csdn.net/m0_37306360/article/details/84571654 另外，更多實時更新的個人學習筆記分享，請關注： 知乎：https://www.zhihu.com/people/yuquanle/columns
1、NLTK
Natural Language Toolkit，自然語言處理工具包，在NLP領域中，最常使用的一個Python庫。 安裝：pip install nltk
2、Gensim
可以用來從文件中自勱提取語義主題。它包含了很多非監督學習演算法如：TF/IDF，潛在語義分
轉載請註明出處：https://blog.csdn.net/HHTNAN
在前面我們介紹了Stanford CoreNLP， 自然語言處理之命名實體識別-tanfordcorenlp-NER(一)
功能列表
工具以及對各種語言的支援如下表（英文和中文支援的最好），分別對應：
轉載請註明出處：https://blog.csdn.net/HHTNAN
簡介
CoreNLP 專案是Stanford開發的一套開源的NLP系統。包括tokenize, pos , parse 等功能，與SpaCy類似。SpaCy號稱是目前最快的NLP系統， 並且提供現成的pyt
目錄
語音識別
NLTK - 自然語言工具包
分詞
詞幹
詞形還原
詞袋
詞頻
文件頻率（DF）
逆文件頻率（IDF）
詞頻你文件頻率（TF-IDF）
基於多項
自然語言處理的方法有很多種，crf++是也是使用比較多的一種方法，關於crf++ 的詳細解釋可以參考網上的資料，這裡不再做介紹，這裡直接說的就是用crf++進行命名實體識別。
crf++ 進行自然語言處理的時候需要下載一個crf工具包，然後使用工具包進行處理，我使用的是CR
自己目前沒有做過自然語言處理，語音語義識別測試，本文為聽一場語音語義識別測試分享學習所得，以及結合網上學習資料整理。
語音識別測試
主要考慮距離、噪聲、不同手機機型或硬體、不同網路
噪音干擾識別測試
不同距離識別測試
不同機型識別測試
不同網路語音識別速度
關於情感分析
情感分析的詞庫，
情感分析語料
3.酒店評論語料
- http://www.datatang.com/data/11936
譚鬆波整理的一個較大規模的酒店評論語料。
語料規模為10000篇。語料從攜程網上自動採集，並
詞性標註被用於資訊檢索、機器翻譯、NER、語言分析等1、詞性標註簡介 一個對句中的每個識別符號分配詞類（如名詞、動詞、形容詞等）標記的過程。在nltk.tag包中並被TaggerIbase類所繼承。>>> text1 = nltk.word_tok
學習自然語言這一段時間以來接觸和聽說了好多開源的自然語言處理工具，在這裡做一下彙總方便自己以後學習，其中有自己使用過的也有了解不是很多的，對於不甚瞭解的工具以後學習熟悉了會做更新的。
1.IKAnalyzer
IK Analyzer是一個開源的，基於Jav
import random
import numpy as np
import nltk.corpus as nc
import nltk.classify as cf
male_names = nc.names.words('male.txt')
fe
進行統計自然語言處理系統梳理，學習資料《統計自然語言處理.宗成慶》。
一、自動分詞
詞，詞是最小的能夠獨立運用的語言單位。
自動分詞問題由來。中文（還有日語、越南語、藏語等）的文字不像西方屈折語的文字，詞與詞之間沒有空格之類的標註來顯示
NLP中很多問題要求解的輸出標籤不是相互獨立的，而是時間或結構上相互依存的結構化標籤。這種結構包括序列、樹狀或更普通意義上的圖結構。而對於中文分詞、詞性標註、組塊標註、淺層語法分析等任務，標記和切分觀察序列都是序列結構的。解決詞類方法最常用的模型也是概率圖模 相關推薦
自然語言處理人名識別常用詞典
Python自然語言處理—停用詞詞典
自然語言處理-錯字識別（基於Python）kenlm、pycorrector
C#自然語言處理2-識別語音並執行程序
C# 自然語言處理1-識別文字到語音
文本情感分析的基礎在於自然語言處理、情感詞典、機器學習方法等內容。以下是我總結的一些資源。
自然語言處理基礎技術之命名實體識別實戰
自然語言處理基礎技術之命名實體識別簡介
NLP自然語言處理常用的Python庫 及安裝方法
自然語言處理之分詞、命名主體識別、詞性、語法分析-stanfordcorenlp-NER(二)
自然語言處理之命名實體識別-tanfordcorenlp-NER(一)
文字識別（自然語言處理，NLP）
自然語言處理 crf++命名實體識別
【AI測試】智慧音箱--自然語言處理，語音語義識別測試
自然語言處理常用到的包
精通Python自然語言處理 4 ：詞性標註--單詞識別
自然語言處理（NLP）常用開源工具總結----不定期更新
自然語言處理(NLP) 四：性別識別
統計自然語言處理梳理一：分詞、命名實體識別、詞性標註
NLP漢語自然語言處理原理與實踐 5 詞性、語塊和命名實體識別