我並不是一個機器學習（Machine Learning）、自然語言處理（Natural Text Processing，NLP）等的狂熱者，但我總會想到一些需要用到它們的主意。我們今天在這篇博文中要實現的目標是：利用 Twitter 資料建立一個實時的職位搜尋。每個單獨的搜尋結果要包括提供職位的公司名稱、工作的地點、去公司應聘時聯絡的人。這需要我們從 個人（Person）、地點（Location）、組織（Organisation）三方面去分析每一條推（tweet）。這類問題被歸為命名實體識別（Named Entity Recognition，NER）問題。

根據維基百科的資料，命名實體識別是資訊提取(Information Extraction)的一個子任務，它把文字的原子元素（Atomic Element）定位和分類好，然後輸出為固定格式的目錄，例如: 人名、組織、位置、時間的表示、數量、貨幣值、百分比等。

為了說的更明白，我們來舉個例子。假設我們有下面這條推：

一個普通人可以輕易地分辨出一個名為 PSI Pax 的組織在 Baltimore 有個空缺的職位。但是我們怎麼用程式設計的方式來完成這個識別呢? 最簡單的辦法是維護一個包含所有組織名稱、地點的列表，然後對這個列表進行搜尋。然而，這種做法的可擴充套件性太差了。

今天，在這篇博文中，我會描述如何用斯坦福 NER（Stanford NER） 軟體包去設定我們自己的 NER 伺服器。

什麼是 斯坦福 NER？

斯坦福 NER 命名實體識別（Named Entity Recognizer，NER）的 Java 實現。 NER 標識一段文字中的一系列名詞，例如人名、公司名，又或者基因名、蛋白質名。

前期準備

1. 一些基本的 Java 知識是需要的。在你的作業系統上安裝最新版本的 JDK，你可以安裝 OpenJDK 或者 Oracle JDK 7。OpenShift 支援 OpenJDK 6 和 7.

2. 註冊一個 OpenShift 賬戶。這是完全免費的，而且紅帽（Red Hat）會給每個使用者三個免費的 Gears，在 Gears 上你可以執行你的程式。在這篇文章寫的時候，OpenShift 會為每個使用者分配 1.5GB 的記憶體和 3GB 的硬碟空間。

3. 在本機上，安裝 rhc 客戶端工具。rhc 是一個 ruby gem，所以你需要機子上安裝好 ruby 1.8.7 及以上的 ruby。要安裝 rhc，輸入：

sudo gem install rhc

更新 rhc 到最新版本，執行：

sudo gem updatge rhc

5.使用 rhc setup 命令設定好 OpenShift 賬戶，這個命令會為你建立一個名稱空間，然後上傳你的 ssh keys 到 OpenShift 伺服器上。

第一步：建立一個 JBoss EAP 應用

我們現在開始建立這個演示應用。這個應用的名稱是 nerdemo

rhc create-app nerdemo jbosseap

如果你可以訪問媒介齒輪（Medium Gears），你可以使用下面的命令：

$ rhc create-app nerdemo jbosseap -g medium

它會為我們建立一個應用容器，叫做 Gear，會自動設定好需要的 SELinux/cgroup 配置。OpenShift 也會為我們建立一個私密的 git 倉庫，然後可克隆這個倉庫到本地系統上。最後，OpenShift 還會部署一個連線外面的 DNS。部署的應用可以通過連結： http://linkbin-domain-name.rhcloud.com/ 來訪問。把領域換成自己的 OpenShit 領域（有時候叫 命令空間）

第二步：增加 Maven 依賴

在 pom.xml 檔案中，增加一下依賴：

<dependency>
    <groupId>edu.stanford.nlp</groupId>
    <artifactId>stanford-corenlp</artifactId>
    <version>3.2.0</version>
</dependency>

然後，通過更新 pom.xml 檔案中的一些屬性把 Maven 專案更新到 Java 7

<maven.compiler.source>1.7</maven.compiler.source>
<maven.compiler.target>1.7</maven.compiler.target>

現在，通過 右擊 > Maven > 更新專案 更新 Maven

第三步：開啟 CDI

我們會使用 CDI 來進行依賴項注入（Dependency Injection）。CDI（Context and Dependency Injection）是 Java EE 6 的一個特性，它允許在 Java EE 6 專案中的依賴項注入。CDI 為 Java EE 定義一個型別安全（type-safe） 的 依賴項注入機制。幾乎任何 POJO 可以作為 CDI 豆（bean）那樣被注入。

在 src/main/webapp/WEB-INF 目錄下，建立一個名為 beans.xml 的 xml 檔案。用下面的內容代替 beans.xml 的內容：

<beans xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/beans_1_0.xsd">

</beans>

第四步：應用程式作用域分類器的豆（Application Scoped Classifier Bean）

現在，我們建立一個應用程式作用域的豆（bean），這個豆會建立 CRFClassifier 類的例項。這個分類器用於檢測文字中的名字、地點和組織

package com.nerdemo;

import javax.annotation.PostConstruct;
import javax.enterprise.context.ApplicationScoped;
import javax.enterprise.inject.Produces;
import javax.inject.Named;

import edu.stanford.nlp.ie.crf.CRFClassifier;
import edu.stanford.nlp.ling.CoreLabel;

@ApplicationScoped
public class ClassifierConfig {

    private String serializedClassifier = "classifiers/english.all.3class.distsim.crf.ser.gz";
    private CRFClassifier<CoreLabel> classifier;

    @PostConstruct
    public void postConstruct() {
        CRFClassifier<CoreLabel> classifier = CRFClassifier.getClassifierNoExceptions(serializedClassifier);
        this.classifier = classifier;
    }

    @Produces
    @Named
    public CRFClassifier<CoreLabel> classifier() {
        return classifier;
    }
}

從下載的斯坦福 NER 軟體包中複製 english.all.3class.distsim.crf.ser.gz 分類器到 src/main/resources/classifiers 目錄下。

第五步：開啟 AX-RS

為了開啟 AX-RS，建立一個擴充套件 javax.ws.rs.core.Application 的類，然後用下面 javax.ws.rs.ApplicationPath 的標記法標記應用程式的路徑：

package com.nerdemo;

import javax.ws.rs.ApplicationPath;
import javax.ws.rs.core.Application;

@ApplicationPath("/api/v1")
public class JaxrsInitializer extends Application{


}

第六步：建立 ClassifyRestResource 類

現在我們要建立 ClassifyRestResource 類，它返回一個 NER 結果。建立一個新的 ClassifyRestResource 類，然後用下面程式碼代替它：

package com.nerdemo;

import java.util.ArrayList;
import java.util.List;

import javax.inject.Inject;
import javax.ws.rs.GET;
import javax.ws.rs.Path;
import javax.ws.rs.PathParam;
import javax.ws.rs.Produces;
import javax.ws.rs.core.MediaType;

import edu.stanford.nlp.ie.crf.CRFClassifier;
import edu.stanford.nlp.ling.CoreAnnotations;
import edu.stanford.nlp.ling.CoreLabel;

@Path("/classify")
public class ClassifierRestResource {

    @Inject
    private CRFClassifier<CoreLabel> classifier;

    @GET
    @Path(value = "/{text}")
    @Produces(value = MediaType.APPLICATION_JSON)
    public List<Result> findNer(@PathParam("text") String text) {
        List<List<CoreLabel>> classify = classifier.classify(text);
        List<Result> results = new ArrayList<>();
        for (List<CoreLabel> coreLabels : classify) {
            for (CoreLabel coreLabel : coreLabels) {
                String word = coreLabel.word();
                String answer = coreLabel.get(CoreAnnotations.AnswerAnnotation.class);
                if(!"O".equals(answer)){
                    results.add(new Result(word, answer));
                }

            }
        }
        return results;
    }
}

部署到 OpenShift

最後，部署所做的改變到 OpenShift:

$ git add .
$ git commit -am "NER demo app"
$ git push

然後，你就會得到一個 JSON 格式的結果：

[
{"word":"Microsoft","answer":"ORGANIZATION"},
{"word":"PSI","answer":"ORGANIZATION"},
{"word":"Pax","answer":"ORGANIZATION"},
{"word":"Baltimore","answer":"LOCATION"}
]

這就是今天的內容了，保持反饋！

接下來