pig流式資料，load資料時，不能讀入任意列。

但是，可以從頭讀，只能連續幾列。就是前幾列。比如10列資料，可以只讀前3列。但不能讀第3列：

如：資料testdata

[[email protected] lmj]$ cat testdata.txt 
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10
1,2,3,4,5,6,7,8,9,10

pigscript讀入：

my = load '/home/wizad/lmj/testdata.txt' using PigStorage(',')
as(one:chararray,
two:int);

describe my;
dump my;

結果為

(1,2)

(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)
(1,2)

結構為

grunt> describe my;
my: {one: chararray,two: int}

只讀入其中兩列。

如果想讀入任意列，可以使用piggybank提供的hivecolumnarloader自行開發。

pig是java編寫的，所以也可以自己寫java的UDF，實現load時的格式 載入函式loadfunc，逐行讀入時，只留下其中任意列。就可以了。

如下兩個

pig自身的：

DEFINE SequenceFileLoader org.apache.pig.piggybank.storage.SequenceFileLoader();
自己編寫的：

DEFINE SequenceFileLoader com.vpon.wizad.etl.pig.SequenceFileCSVLoader();