sqoop匯入hive資料時對換行等特殊字元處理
阿新 • • 發佈：2018-12-09
使用場景：
公司大資料平臺ETL操作中，在使用sqoop將mysql中的資料抽取到hive中時，由於mysql庫中默寫欄位中會有換行符，導致資料存入hive後，條數增多（每個換行符會多出帶有null值得一條資料），導致統計資料不準確。
解決辦法：
利用一下兩個引數可以實現對換行等特殊字元的替換或者刪除
--hive-delims-replacement--hive-drop-import-delims
參考官方文件
Table 8. Hive arguments:
| Argument | Description |
|---|---|
--hive-home <dir> |
Override $HIVE_HOME |
--hive-import |
Import tables into Hive (Uses Hive’s default delimiters if none are set.) |
--hive-overwrite |
Overwrite existing data in the Hive table. |
--create-hive-table |
If set, then the job will fail if the target hive |
| table exits. By default this property is false. | |
--hive-table <table-name> |
Sets the table name to use when importing to Hive. |
--hive-drop-import-delims |
Drops \n, \r, and \01 from string fields when importing to Hive. |
--hive-delims-replacement |
Replace \n, \r, and \01 from string fields with user defined string when importing to Hive. |
--hive-partition-key |
Name of a hive field to partition are sharded on |
--hive-partition-value <v> |
String-value that serves as partition key for this imported into hive in this job. |
--map-column-hive <map> |
Override default mapping from SQL type to Hive type for configured columns. |
使用方法，
1、在原有sqoop語句中新增 --hive-delims-replacement “ ” 可以將如mysql中取到的\n, \r, and \01等特殊字元替換為自定義的字元，此處用了空格
2、在原有sqoop語句中新增 --hive-drop-import-delims 可以將如mysql中取到的\n, \r, and \01等特殊字元丟棄