1.5 使用Sqoop從HDFS匯出資料到MySQL
阿新 • • 發佈:2019-01-25
mysql -uroot -phadoop
2.建立新的資料庫
CREATE DATABASE logs;
3.選擇logs資料庫
USE logs;
4.建立weblogs表
CREATE TABLE weblogs_from_hdfs (
md5 VARCHAR(32),
url VARCHAR(64),
request_date DATE,
request_time TIME,
ip VARCHAR(15)
);
實驗過程
sqoop export -m 1 --connect jdbc:mysql://namenode:3306/logs --username root --password hadoop --table weblogs_from_hdfs --export-dir /data/weblogs/weblog_entries.txt --input-fields-terminated-by '\t' --mysql-delimiters
注:書中是將/data/weblogs/05102012 下檔案匯入到mysql而我使用了1.2上傳上去的weblog_entries.txt,然後書中還有一點紕漏,就是–mysql-delimiters 在書中寫成了–mysql-delmiters 少了一個‘i’所以如果直接執行書中原句,會報錯。
在mysql中查詢 weblogs_from_hdfs 表數量可以檢測是否執行成功
mysql> select count(*) from weblogs_from_hdfs;
+----------+
| count(*) |
+----------+
| 3000 |
+----------+
1 row in set (0.00 sec)