hdfs的使用:
1)、----使用hdfs命令,切換hdfs用戶
hdfs dfs -du -h /zxvmax/telecom/union/dm/dm_mdn_imsi_terni //查看分區大小
hdfs dfs -cp /zxvmax/telecom/union/dm/dm_mdn_imsi_ternimal/p_provincecode=510000/p_date=2017-03-10/* /zxvmax/telecom/union/dm/dm_mdn_imsi_ternimal/p_provincecode=510000/p_date=2017-03-20/ *//將數據從2017-03-10到2017-03-20
hdfs dfs -rm -r
hdfs dfs -mkdir -p //目錄
hdfs dfs -mkdir
hdfs dfs -mv
2)、--put--從本地導入數據到spark表(hdfs文件系統)
在本地處理好文件,比如:處理成csv文件,把tab鍵,轉換成 ,保存文件成.csv
上傳文件到:/home/sswk_data_sever/dataHome/data/123
su hdfs -----切換用戶
hdfs dfs -mkdir /zxvmax/telecom/cfg/cfg_subway_station ----新建hdfs目錄
hdfs dfs -put point.csv /zxvmax/telecom/cfg/cfg_subway_station ------新建當前hdfs文件夾
hdfs dfs -du -h /zxvmax/telecom/cfg/cfg_subway_station/point.csv -----查看hdfs數據是否導入
select * from cfg_subway_station limit 10; //最後再查看數據在spark上是否有
3)、--get--把hdfs上面的數據拿到集群本地目錄
方法一:hdfs dfs -getmerge /zxvmax/telecom/lte/dm/dm_plan_point_stat_d/p_provincecode=510000/p_date=2017-10-19/ dm_plan_point_stat_d.csv
方法二:hdfs dfs -get /zxvmax/telecom/lte/dm/dm_plan_grid_agps_d/p_provincecode=510000/p_date=2020-01-01/
cat * >a.csv
4)、----拷貝數據:從環境234到154的hdfs的數據拷貝
hdfs dfs -cp /zxvmax/telecom/cfg/cfg_sector_c/p_provincecode=510000/p_date=2017-11-29/* hdfs://133.37.31.154:9000/zxvmax/telecom/cfg/cfg_sector_c/p_provincecode=510000/p_date=2017-11-29/ */
5)、----查看hdfs的服務的狀態(主備節點的狀態是隨機動態切換的)
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
hdfs的使用: