正在做oracle到hive的資料匯入，遇到資料分隔問題，sqoop2 預設分隔式逗號，我使用hive 也是逗號分隔，發現數據中含有逗號的欄位，hive把它分成了好幾個。於是去網上找自定義分隔的解決方法，但是無奈這方面的資料很少。不解決此問題，工作無法進行。勝了最後一個法寶，編譯原始碼。

2、去下載跟你使用的一個版本的sqoop2 原始碼（最好），使用maven構建，（注意，打包時最好跳過test，進行編譯，不然可能會報錯）

3、修改程式碼：

       定位：應為是寫到hdfs上，所謂我認識應該寫該hdfs-connector的程式碼，發現程式碼中有定義預設分隔符的，把它改成 製表符，編譯->上傳後，發現結果沒有改變。接著思考，發現類：org.apache.sqoop.connector.hdfs.hdfsWriter.HdfsTextWriter下有個write方法，並且有個HdfsConstants.DEFAULT_RECORD_DELIMITER（每行的記錄的預設分隔），

這個是每個記錄以逗號分隔的的資料，現在要寫個方法將其分開（把單引號作為一種標誌把，欄位的逗號跟非分隔符逗號分開）

4、下面是以逗號分隔改為以 ‘\t’分隔的程式碼（org.apache.sqoop.connector.hdfs.hdfsWriter.HdfsTextWriter整個類）

package org.apache.sqoop.connector.hdfs.hdfsWriter;

import com.google.common.base.Charsets;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.sqoop.connector.hdfs.HdfsConstants;

import java.io.BufferedWriter;
import java.io.DataOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;

public class HdfsTextWriter extends GenericHdfsWriter {

  private BufferedWriter filewriter;

  @Override
  public void initialize(Path filepath, Configuration conf, CompressionCodec codec) throws IOException {
    FileSystem fs = filepath.getFileSystem(conf);

    DataOutputStream filestream = fs.create(filepath, false);
    if (codec != null) {
      filewriter = new BufferedWriter(new OutputStreamWriter(
              codec.createOutputStream(filestream, codec.createCompressor()),
              Charsets.UTF_8));
    } else {
      filewriter = new BufferedWriter(new OutputStreamWriter(
              filestream, Charsets.UTF_8));
    }
  }

  @Override
  public void write(String csv) throws IOException {
    filewriter.write(transfer(csv) + HdfsConstants.DEFAULT_RECORD_DELIMITER);

  }

  @Override
  public void destroy() throws IOException {
    filewriter.close();
  }
  private String transfer(String csv){
		String words[]=csv.split(",");
		StringBuffer sb=new StringBuffer();
		boolean flag1=false;
		boolean flag2=false;
		boolean flag3=false;
		String temp="";
		for (int i = 0; i < words.length; i++) {
			if(words[i].equalsIgnoreCase("NULL")){
				words[i]="-1";
			}
			flag1=words[i].startsWith("'");
			flag2=words[i].endsWith("'");
			if(flag1&&flag2){
				sb.append(words[i]);
				sb.append('\t');
			}else if(flag1&&!flag2){
				temp=words[i]+",";
				flag3=true;
			}else if(!flag1&&flag2){
				temp=temp+","+words[i];
				flag3=false;			
				sb.append(temp);
				sb.append('\t');
			}else{
				if(flag3){
					temp=temp+words[i];
				}else{
					sb.append(words[i]);
					sb.append('\t');
				}
			}
		}
		return sb.toString().replace("'", "").trim();
		//return sb.toString().trim();
	}

}
 

5、打包，及上傳到sqoop2資料夾/webapps/sqoop/WEB-INF/lib（或許由於版本不一樣而有差別，請選擇connector所在的資料夾），在上傳之前要把hdfs-connector，mv 到其他資料夾（為了保險），也可以刪掉（不建議），也可以把hdfs-connector裡的名字改掉（未試驗），重啟sqoop2。執行任務看看效果。

6、完成。