mysql的資料匯入到hive表timestamp值異常問題解決
mysql的資料匯入到hive表中報錯:
Error: java.io.IOException: SQLException in nextKeyValue
at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:562)
at org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:80)
at org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.nextKeyValue(WrappedMapper.java:91)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:144)
at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:793)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1920)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
原因:經檢查後發現mysql資料庫中的timestamp型別的資料出現'0000-00-00 00:00:00'這樣的值
解決方法:
import
--connect
jdbc:mysql://IP:3306/database?zeroDateTimeBehavior=convertToNull
--username
username
--password
password
在jdbc連線後面加上'zeroDateTimeBehavior=convertToNull',見名知意
相關推薦
mysql的資料匯入到hive表timestamp值異常問題解決
mysql的資料匯入到hive表中報錯: Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKey
資料從mysql中匯入hive表中異常解決：
將資料從mysql中匯入hive表中，出現異常ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf.
Hive 實戰練習（一）—按照日期將每天的資料匯入Hive表中
需求： 每天會產生很多的日誌檔案資料，有這麼一種需求：需要將每天產生的日誌資料在晚上12點鐘過後定時執行操作，匯入到Hive表中供第二天資料分析使用。要求建立分割槽表，並按照日期分割槽。資料檔案命名是以當天日期命名的，如2015-01-09.txt一、建立分割
sqoop mysql資料匯入Hive中
sqoop import --connect jdbc:mysql://192.168.8.97:3306/db1?charset-utf8 --username root --password 123456 --table pd_info --columns "pid,cid" --fields-term
sqoop將Mysql資料匯入Hive中
注：筆者用的是sqoop1.4.6版本 一、將Mysql資料匯入Hive中 命令： sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --con
利用sqoop指定列指定條件的方式將資料從mysql中增量匯入hive表中
========1、sqoop增量（指定列指定條件的方式增量匯入hive表中）匯入hive指令碼======= #!/bin/bash #Set the RDBMS connection params rdbms_ip=$1 rdbms_connect="jdbc:mysq
StreamSet mysql資料匯入到hive異常問題記錄
1. 異常問題Permission denied: user [anonymous] does not have [USE] privilege on [default] com.streamsets.pipeline.api.base.OnRecordErrorException: HIVE_
通過sqoop將mysql資料匯入到hive中進行計算示例
hive計算示例 先將資料通過sqoop從mysql匯入hive，在hive執行mysql的查詢語句，得到與mysql一樣的執行結果 步驟： mysql資料準備 account賬號表 detail收支資料表 CREATE TABLE
從mysql將資料匯入hive
[[email protected] ~]$ sqoop import --connect jdbc:mysql://Hadoop48/toplists --verbose -m 1 --username root --hive-overwrite --direct --table award --
使用sqoop將mysql中的資料匯入Hive時報錯
1.使用sqoop在hive中建立一個和mysql中資料結構一樣的表時報錯 ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set [em
MySQL資料匯入sql檔案過程中出錯
錯誤型別： ERROR 1231 (42000): Variable 'time_zone' can't be set to the value of 'NULL' ERROR 1231 (42000): Variable 'sql_mode' can't be set to the value of '
mysql 資料操作 單表查詢 limit 練習
1. 分頁顯示，每頁5條 mysql> select * from employee limit 0,5; +----+------------+--------+-----+------------+---------+--------------+-----
mysql 資料操作 單表查詢 使用正則表示式查詢
SELECT * FROM employee WHERE name REGEXP '^ale'; SELECT * FROM employee WHERE name REGEXP 'on$'; SELECT * FROM employee WHERE nam
資料匯入7.表空間的問題ORA-30036
問題 解決ORA-30036：無法按8擴充套件段（在還原表空間‘XXXX’中） 原文 http://blog.sina.com.cn/s/blog_676255e101018d5s.html 好文： https://www.cnblogs.com/kerrycode/p/5693629.
使用sqoop將mysql 資料匯入hdfs時各種報錯
資訊 18/06/29 10:45:08 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLExcepti
TPC-H資料匯入Hive方案
參考博文： https://blog.csdn.net/haoxiaoyan/article/details/53033870 -->在這篇博文中，前面步驟對我有很大幫助，但後面將tpc-h生成的資料匯入到hive的步驟，我沒用看懂，我會在後面介紹另外一種方案匯入資
mysql 資料操作 多表查詢 準備
為什麼需要多表查詢： 因為不可以把所有資料都放在一張表裡 我們把不同資料儲存 放在一張一張不同表 方便管理 但是資料還是一個整體，資料之間是有關聯關係 那就要把分散的資料，合併到一起進行查詢 多表查詢概念：
Mysql-資料型別及表約束
表的資料型別 tinyint 有符號:-128~127, 無符號:0~255, 預設有符號 create table t1(num tinyint); insert into t1 values(1); insert into t1 values(128); --越界報錯 無符號:
MySQL資料匯入匯出亂碼問題
場景 程式使用gbk編碼，表使用的是latin1編碼，而我再一次倒入資料的操作中使用了utf8的終端，指定--default-character-set='latin1'倒入的資料是亂碼，而後來將終端換成gbk之後酒倒入成功了 通過變換插入資料的終端，模擬我們平常需要倒入資料的終端
mysql資料匯入mongodb中
# 把mysql資料庫中的資料匯入mongodb中 import pymysql import pymongo # 建立mysql的資料庫連線 con = pymysql.connect(host='localhost', port=3306, user='root', password='12345