Distinct  

只能處理關係中的整個記錄，不能是表示式，或者部分域。

--distinct.pig

daily  = load 'NYSE_daily' as (exchange:chararray, symbol:chararray);

uniq   = distinct daily;

uniq是一個關係relation(類似表，是流物件)。不是表示式

“distinct forces a reduce phase. It does make use of the combiner toremove，any duplicate records it can delete in the map phase.”其會強制執行一個reduce階段（很多語句只用map就能完成，不需要reduce），此外還有order，join，group，limit，cogroup，cross等等。

而之所以distinct很快，是因為其在map階段執行了combiner，提高效率。

其parallel只能控制reduce端，所以在設計程式時指定parallel的個數，實際上是指定了reduce的個數，而在reduce過程中，是自動hashing到對應的reduce中。

--distinct_symbols.pig

daily   = load 'NYSE_daily' as (exchange, symbol); -- not interested in otherfields

grpd    = group daily by exchange;

uniqcnt = foreach grpd {

          sym      = daily.symbol;

          uniq_sym = distinct sym;

          generate group, COUNT(uniq_sym);

};

另外，distinct只能處理relation，不能處理expression。

這裡，daily.symbol是expression，不能被distinct。必須提取到sym後成為關係，才能被distinct。