1. 程式人生 > >自己的簡單數據分析流程

自己的簡單數據分析流程

抓取 八爪魚 取數 分析 select hdfs 抓取數據 navi art

1.八爪魚,抓取數據

2.八爪魚數據導入mysql(navicat連的虛擬機上的),表為an

3.給定mysql的表an自增id

4.開啟hadoop,yarn,

5.利用sqoop導入mysql的表an
sqoop import --connect jdbc:mysql://192.168.218.134:3306/spark
--username root --password 111 --query "select *from an where id>‘0‘
and \$CONDITIONS" --target-dir /user/root-sqoop2 --direct --m 1

6.查詢是否導入成功
hdfs dfs -cat /user/root-sqoop2/part-m-00000

7.

自己的簡單數據分析流程