最近特別喜歡用Pig，擁有能滿足大部分需求的內建函式（built-in functions），支援自定義函式（user defined functions, UDF），能load 純文字、avro等格式資料；illustrate看pig執行步驟的結果，describe看alias的schema；以輕量級指令碼形式跑MapReduce任務，各種爽爆。

1. Word Count

較於中文，英文比較工整，可以根據空格、標點符號進行分詞。

A = load '/user/.*/req-temp/text.txt' as (text:chararray);
B = foreach A generate flatten(TOKENIZE(text)) as word;
C = group B by word;
D = foreach C generate COUNT(B), group;
 

Pig的內建函式TOKENIZE用StringTokenizer來對英文文字進行分詞（程式碼參看這裡），繼承於抽象類EvalFunc<T>，返回DataBag片語。為了能統計單個詞詞頻，需要用函式flatten對片語進行打散。抽象類EvalFunc<T>為用於pig語句foreach .. generate ..中的基類，以實現對資料欄位的轉換操作，其中exec()方法在pig執行期間被呼叫。

public class TOKENIZE extends EvalFunc<DataBag> {
    TupleFactory mTupleFactory = TupleFactory.getInstance();
    BagFactory mBagFactory = BagFactory.getInstance();

    @Override
    public DataBag exec(Tuple input) throws IOException {
        ...
        DataBag output = mBagFactory.newDefaultBag();
        ...
        String delim = " \",()*";
        ...
        StringTokenizer tok = new StringTokenizer((String)o, delim, false);
        while (tok.hasMoreTokens()) {
            output.add(mTupleFactory.newTuple(tok.nextToken()));
        }
        return output;
        ...
    }
}
 

2. Ansj中文分詞

為了寫Pig的UDF，需要新增maven依賴：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop.version}</version>
    <scope>provided</scope>
</dependency>
    
<dependency>
    <groupId>org.apache.pig</groupId>
    <artifactId>pig</artifactId>
    <version>${pig.version}</version>
    <scope>provided</scope>
</dependency>
    
<dependency>
    <groupId>org.ansj</groupId>
    <artifactId>ansj_seg-all-in-one</artifactId>
    <version>3.0</version>
</dependency>
 

輸入命令hadoop version得到hadoop的版本，輸入pig -i得到pig的版本。務必要保證與叢集部署的pig版本一致，要不然會報錯：

ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1066: Unable to open iterator for alias D

然後依葫蘆畫瓢，根據TOKENIZE.java修改，得到中文分詞Segment.java：

package com.pig.udf;

public class Segment extends EvalFunc<DataBag> {

    TupleFactory mTupleFactory = TupleFactory.getInstance();
    BagFactory mBagFactory = BagFactory.getInstance();

    @Override
    public DataBag exec(Tuple input) throws IOException {
        try {
            if (input==null)
                return null;
            if (input.size()==0)
                return null;
            Object o = input.get(0);
            if (o==null)
                return null;
            DataBag output = mBagFactory.newDefaultBag();
            if (!(o instanceof String)) {
                int errCode = 2114;
                String msg = "Expected input to be chararray, but" +
                " got " + o.getClass().getName();
                throw new ExecException(msg, errCode, PigException.BUG);
            }
            
            // filter punctuation
            FilterModifWord.insertStopNatures("w");
            List<Term> words = ToAnalysis.parse((String) o);
            words = FilterModifWord.modifResult(words);
            
            for(Term word: words) {
                output.add(mTupleFactory.newTuple(word.getName()));
            }
            return output;
        } catch (ExecException ee) {
            throw ee;
        }
    }

    @SuppressWarnings("deprecation")
    @Override
    public Schema outputSchema(Schema input) {
    ...
    }
    ...

ansj支援設定詞性的停用詞FilterModifWord.insertStopNatures("w");，如此可以去掉標點符號的詞。將原始碼打包後放在hdfs上，然後通過register jar包呼叫該UDF：

REGISTER ../piglib/udf-0.0.1-SNAPSHOT-jar-with-dependencies.jar
A = load '/user/.*/renmin.txt' as (text:chararray);
B = foreach A generate flatten(com.pig.udf.Segment(text)) as word;
C = group B by word;
D = foreach C generate COUNT(B), group;

擷取人民日報社論的一段：

樹好家風，嚴管才是厚愛。古人說：“居官所以不能清白者，率由家人喜奢好侈使然也。”要看到，好的家風，能繫好人生的“第一粒釦子”。“修身、齊家”，才能“治國、平天下”，領導幹部首先要“正好家風、管好家人、處好家事”，才能看好“後院”、堵住“後門”。“父母之愛子，則為之計深遠”，與其冒著風險給子女留下大筆錢財，不如給子女留下好家風、好作風，那才是讓子女受益無窮的東西，才是真正的“為之計深遠”。

統計詞頻如下：

...
(3,能)
(2,要)
(2,計)
(1,與其)
(1,作風)
(1,使然)
(1,修身)
(1,厚愛)
(1,受益)
...

可見，ansj在不載入使用者自定義詞表的情況下，分詞效果並不理想，不能對成語等詞正確地分詞。