mysql表資料以本地檔案方式匯入Hive
阿新 • • 發佈:2019-02-17
1、mysql生成資料
1)建立資料庫和資料表,指令碼如下:
SET @[email protected]@UNIQUE_CHECKS, UNIQUE_CHECKS=0;
SET @[email protected]@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0;
SET @[email protected]@SQL_MODE, SQL_MODE='TRADITIONAL';
CREATE SCHEMA IF NOT EXISTS `auditdb` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci ;
USE `auditdb` ;
-- -----------------------------------------------------
-- Table `auditdb`.`t_evninfo1`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `auditdb`.`t_evninfo1` ;
CREATE TABLE IF NOT EXISTS `auditdb`.`t_evninfo1` (
`server_ip` VARCHAR(20) NOT NULL ,
`client_ip` VARCHAR(20) NOT NULL ,
`ip_protocol` TINYINT NOT NULL ,
`db_protocol` VARCHAR(20) NULL ,
`statement` VARCHAR(1000) NOT NULL
)
ENGINE = InnoDB;
2)儲存過程插入資料
mysql->
DELIMITER //
create procedure analog()
begin
declare i int;
set i=0;
while i<2000000 do
INSERT INTO t_evninfo1(server_ip,client_ip,ip_protocol,db_protocol,statement) VALUES ('10.18.18.1','10.18.18.101',1,'tns','select * from tables');
set i = i+1;
end while;
end;
//
mysql->call analog;
生成200萬條記錄。
3)匯出表資料
mysql->mysqldump -u root -p auditdb t_evninfo1 > info.sql
info.db檔案大小120M。
二、hive本地檔案匯入
1)hive建表:
hive>CREATE TABLE t_evninfo2(server_ip STRING,client_ip STRING,ip_protocol INT,db_protocol STRING,statement STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;
注意info.sql的分隔符,最好將匯出的info.sql本地簡單加工下。
2)本地檔案匯入
hive>LOAD DATA LOCAL INPATH '/home/hadoop/info.sql' INTO TABLE t_evninfo2;
3)檢視匯入記錄
hive>select * from t_evninfo2 limit 10;
當然也可以通過sqoop遷移來實現mysql資料移植到hadoop平臺。
1)建立資料庫和資料表,指令碼如下:
SET @[email protected]@UNIQUE_CHECKS, UNIQUE_CHECKS=0;
SET @[email protected]@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0;
SET @[email protected]@SQL_MODE, SQL_MODE='TRADITIONAL';
CREATE SCHEMA IF NOT EXISTS `auditdb` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci ;
USE `auditdb` ;
-- -----------------------------------------------------
-- Table `auditdb`.`t_evninfo1`
-- -----------------------------------------------------
DROP TABLE IF EXISTS `auditdb`.`t_evninfo1` ;
CREATE TABLE IF NOT EXISTS `auditdb`.`t_evninfo1` (
`server_ip` VARCHAR(20) NOT NULL ,
`client_ip` VARCHAR(20) NOT NULL ,
`ip_protocol` TINYINT NOT NULL ,
`db_protocol` VARCHAR(20) NULL ,
`statement` VARCHAR(1000) NOT NULL
)
ENGINE = InnoDB;
2)儲存過程插入資料
mysql->
DELIMITER //
create procedure analog()
begin
declare i int;
set i=0;
while i<2000000 do
INSERT INTO t_evninfo1(server_ip,client_ip,ip_protocol,db_protocol,statement) VALUES ('10.18.18.1','10.18.18.101',1,'tns','select * from tables');
set i = i+1;
end while;
end;
//
mysql->call analog;
生成200萬條記錄。
3)匯出表資料
mysql->mysqldump -u root -p auditdb t_evninfo1 > info.sql
info.db檔案大小120M。
二、hive本地檔案匯入
1)hive建表:
hive>CREATE TABLE t_evninfo2(server_ip STRING,client_ip STRING,ip_protocol INT,db_protocol STRING,statement STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;
注意info.sql的分隔符,最好將匯出的info.sql本地簡單加工下。
2)本地檔案匯入
hive>LOAD DATA LOCAL INPATH '/home/hadoop/info.sql' INTO TABLE t_evninfo2;
3)檢視匯入記錄
hive>select * from t_evninfo2 limit 10;
當然也可以通過sqoop遷移來實現mysql資料移植到hadoop平臺。