自然語言處理

1. Java自然語言處理 LingPipe

LingPipe是一個自然語言處理的Java開源工具包。LingPipe目前已有很豐富的功能，包括主題分類（Top Classification）、命名實體識別（Named Entity Recognition）、詞性標註（Part-of Speech Tagging）、句題檢測（Sentence Detection）、查詢拼寫檢查（Query Spell Checking）、興趣短語檢測（Interseting Phrase Detection）、聚類（Clustering）、字元語言建模（Character Language Modeling）、醫學文獻下載/解析/索引（MEDLINE Download, Parsing and Indexing）、資料庫文字挖掘（Database Text Mining）、中文分詞（Chinese Word Segmentation）、情感分析（Sentiment Analysis）、語言辨別（Language Identification）等API。

2.中文自然語言處理工具包 FudanNLP

FudanNLP主要是為中文自然語言處理而開發的工具包，也包含為實現這些任務的機器學習演算法和資料集。

FudanNLP目前實現的內容如下：

1. 中文處理工具
   1. 中文分詞
   2. 詞性標註
   3. 實體名識別
   4. 句法分析
   5. 時間表達式識別
2. 機 器學習
   1. Average Perceptron
   2. Passive-aggressive Algorithm
   3. K-means
   4. Exact Inference

 3.自然語言處理工具Apache OpenNLP

OpenNLP 是一個機器學習工具包，用於處理自然語言文字。支援大多數常用的 NLP 任務，例如：標識化、句子切分、部分詞性標註、名稱抽取、組塊、解析等。

下載連結：http://opennlp.apache.org/

 4.自然語言處理工具 CRF++

 CRF++是著名的條件隨機場開源工具，也是目前綜合性能最佳的CRF工具。CRF++本身已經是個比較老的工具了，但鑑於其效能較好，仍然是自然語言處理很重要的一個工具。

很牛叉的一個庫

下載地址 http://search.maven.org/#browse%7C11864822

學習自然語言這一段時間以來接觸和聽說了好多開源的自然語言處理工具，在這裡做一下彙總方便自己以後學習，其中有自己使用過的也有了解不是很多的，對於不甚瞭解的工具以後學習熟悉了會做更新的。

分片語件

1.IKAnalyzer

IK Analyzer是一個開源的，基於Java語言開發的輕量級的中文分詞工具包。從2006.12推出1.0版本開始，IK Analyzer已經推出了多個版本，當前最新版本為2012 u6，最初基於Luence，從3.0開始成為面向Java的公用分片語件，獨立於Luence，下載地址為：

1. <properties>    
2.     <comment>IK Analyzer 擴充套件配置</comment>  
3.     <!--使用者可以在這裡配置自己的擴充套件字典-->   
4.     <entry key="ext_dict">ext.dic;</entry>   
5.     <!--使用者可以在這裡配置自己的擴充套件停止詞字典-->  
6.     <entry key="ext_stopwords">stopword.dic;chinese_stopword.dic</entry>   
7. </properties>  

IK部署很簡單，只需要把IKAnalyzer2012_u6.jar部署於專案的lib中，同時將IKAnalyzer.cfg.xml檔案以及詞典檔案置於src中，即可通過API的方式開發呼叫。

示例程式碼：

1. /** 
2.      * IK分詞功能實現 
3.      * @return 
4.      */  
5.     public String spiltWords(String srcString){  
6.         StringBuffer wordsBuffer = new StringBuffer("");  
7.         try{  
8.             IKSegmenter ik=new IKSegmenter(new StringReader(srcString), true);    
9.             Lexeme lex=null;    
10.             while((lex=ik.next())!=null){    
11. //              System.out.print(lex.getLexemeText()+" ");  
12.                 wordsBuffer.append(lex.getLexemeText()).append(" ");  
13.             }  
14.         }catch(Exception e){  
15.             logger.error(e.getMessage());  
16.         }  
17.         return wordsBuffer.toString();  
18.     }  

IK簡單、易於擴充套件，分詞結果較好並且採用Java編寫，因為我平時的專案以Java居多，所以是我平時處理分詞的首選工具。

2.中科院ICTCLAS

ICTCLAS是由中科院計算所歷經數年開發的分詞工具，採用C++編寫。最新版本命名為ICTCLAS2013，又名為NLPIR漢語分詞系統，官網為：http://ictclas.nlpir.org/。主要功能包括中文分詞、詞性標註、命名實體識別、使用者詞典功能，同時支援GBK編碼、UTF8編碼、BIG5編碼，新增微博分詞、新詞發現與關鍵詞提取。可以視覺化介面操作和API方式呼叫。

3.FudanNLP

FudanNLP主要是為中文自然語言處理而開發的工具包，也包含為實現這些任務的機器學習演算法和資料集。FudanNLP及其包含資料集使用LGPL3.0許可證。

主要功能包括：

資訊檢索：文字分類，新聞聚類。

中文處理：中文分詞，詞性標註，實體名識別，關鍵詞抽取，依存句法分析，時間短語識別。

結構化學習：線上學習，層次分類，聚類，精確推理。

工具採用Java編寫，提供了API的訪問呼叫方式。最新版本為FudanNLP-1.6.1，下載地址為：http://code.google.com/p/fudannlp/。

在使用時將fudannlp.jar以及lib中的jar部署於專案中的lib裡面。models資料夾中存放的模型檔案，主要用於分詞、詞性標註和命名實體識別以及分詞所需的詞典；資料夾example中主要是使用的示例程式碼，可以幫助快速入門和使用；java-docs是API幫助文件；src中存放著原始碼；PDF文件中有著比較詳細的介紹和自然語言處理基礎知識的講解。

初始執行程式時初始化時間有點長，並且載入模型時佔用記憶體較大。在進行語法分析時感覺分析的結果不是很準確。

4.The Stanford Natural LanguageProcessing Group

4.1 Stanford CoreNLP

4.2 Stanford Word Segmenter

採用CRF（條件隨機場）演算法進行分詞，也是基於Java開發的，同時可以支援中文和Arabic，官方要求Java版本1.6以上，推薦記憶體至少1G。下載地址為http://nlp.stanford.edu/software/segmenter.shtml。

簡單的示例程式：

1. //設定分詞器屬性。  
2.    Properties props = new Properties();  
3. //字典檔案地址，可以用絕對路徑，如d:/data  
4.    props.setProperty("sighanCorporaDict", "data");  
5. //字典壓縮包地址，可以用絕對路徑  
6.    props.setProperty("serDictionary","data/dict-chris6.ser.gz");  
7. //輸入文字的編碼；  
8.    props.setProperty("inputEncoding", "UTF-8");  
9.    props.setProperty("sighanPostProcessing", "true");  
10. //初始化分詞器，  
11.    CRFClassifier classifier = new CRFClassifier(props);  
12. //從持久化檔案中載入分詞器設定；  
13.    classifier.loadClassifierNoExceptions("data/ctb.gz", props);  
14.    // flags must be re-set after data is loaded  
15.    classifier.flags.setProperties(props);  
16. //分詞  
17.    List words = classifier.segmentString("語句內容");  

4.3 Stanford POS Tagger

4.4 Stanford Named Entity Recognizer

4.5 Stanford Parser

4.6 Stanford Classifier

5.jcseg

Jcseg是基於mmseg演算法的一個輕量級中文分詞器，同時集成了關鍵字提取，關鍵短語提取，關鍵句子提取和文章自動摘要等功能，並且提供了一個基於Jetty的web伺服器，方便各大語言直接http呼叫，同時提供了最新版本的lucene, solr, elasticsearch的分詞介面！Jcseg自帶了一個 jcseg.properties檔案用於快速配置而得到適合不同場合的分詞應用，例如：最大匹配詞長，是否開啟中文人名識別，是否追加拼音，是否追加同義詞等！