hdfs 和hive與 partition
home/wangshumin
[[email protected] ~]$ hdfs dfs -cat /user/hive/warehouse/hive2_db1.db/stuin
cat: `/user/hive/warehouse/hive2_db1.db/stuin': Is a directory
[[email protected] ~]$ hdfs dfs -rm r /user/hive/warehouse/hive2_db1.db/stuin
rm: `r': No such file or directory
rm: `/user/hive/warehouse/hive2_db1.db/stuin': Is a directory
[
rm: `/user/hive/warehouse/hive2_db1.db/stuout': Is a directory
[[email protected] ~]$ hdfs dfs
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] <path> ...]
[-cp [-f] [-p] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]
Generic options supported are
-conf <configuration file> specify an application configuration file
-D <property=value> use value for given property
-fs <local|namenode:port> specify a namenode
-jt <local|jobtracker:port> specify a job tracker
-files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars> specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines.
The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]
[
[[email protected] ~]$ hdfs dfs -ls /
Found 7 items
drwxr-xr-x - wangshumin supergroup 0 2018-02-09 07:32 /data
drwxr-xr-x - wangshumin supergroup 0 2018-02-09 07:41 /dataload_balance
drwxr-xr-x - wangshumin supergroup 0 2018-02-09 07:18 /flumedata2
drwxr-xr-x - wangshumin supergroup 0 2018-02-26 15:35 /hbase
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:16 /hivedata
drwx-wx-wx - wangshumin supergroup 0 2018-03-12 13:04 /tmp
drwxr-xr-x - wangshumin supergroup 0 2018-02-09 06:50 /user
[
[[email protected] ~]$ hdfs dfs -ls /
Found 6 items
drwxr-xr-x - wangshumin supergroup 0 2018-02-09 07:32 /data
drwxr-xr-x - wangshumin supergroup 0 2018-02-09 07:41 /dataload_balance
drwxr-xr-x - wangshumin supergroup 0 2018-02-09 07:18 /flumedata2
drwxr-xr-x - wangshumin supergroup 0 2018-02-26 15:35 /hbase
drwx-wx-wx - wangshumin supergroup 0 2018-03-12 13:04 /tmp
drwxr-xr-x - wangshumin supergroup 0 2018-02-09 06:50 /user
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db/
Found 4 items
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:31 /user/hive/warehouse/hive2_db1.db/stu1
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu2
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu3
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:13 /user/hive/warehouse/hive2_db1.db/stuin
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db/
Found 4 items
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:31 /user/hive/warehouse/hive2_db1.db/stu1
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu2
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu3
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:13 /user/hive/warehouse/hive2_db1.db/stuin
[[email protected] ~]$ hdfs dfs -put stu3 /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db/stuout
-rw-r--r-- 3 wangshumin supergroup 53 2018-03-12 13:22 /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ hdfs dfs -cat /user/hive/warehouse/hive2_db1.db/stuout
1 , zhangshan , 20
2 , wangwu , 19
3 , xiaolu , 26
[[email protected] ~]$ hdfs dfs -put stu3 /user/hive/hivedata
[[email protected] ~]$ hdfs dfs -cat /user/hive/hivedata/stu3
1 , zhangshan , 20
2 , wangwu , 19
3 , xiaolu , 26
[[email protected] ~]$ hdfs dfs -rm /user/hive/hivedata/stu3
18/03/12 13:31:51 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /user/hive/hivedata/stu3
[[email protected] ~]$ hdfs dfs -ls /user/hive/hivedata
[[email protected] ~]$ hdfs dfs -put stu3 /user/hive/hivedata
[[email protected] ~]$ hdfs dfs -cat /user/hive/hivedata/stu3
1 , zhangshan , 20
2 , wangwu , 19
3 , xiaolu , 26
[[email protected] ~]$ hdfs dfs -cat /user/hive/hivedata/stu3
1 , zhangshan , 20
2 , wangwu , 19
3 , xiaolu , 26
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db
Found 5 items
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:31 /user/hive/warehouse/hive2_db1.db/stu1
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu2
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu3
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:13 /user/hive/warehouse/hive2_db1.db/stuin
-rw-r--r-- 3 wangshumin supergroup 53 2018-03-12 13:22 /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ vim hsql
[[email protected] ~]$ cat hsql
create external table stuout( id int , name String , age int )
row format delimited
fields terminated by ','
location "/user/hive/hivedata"
;
[[email protected] ~]$ vim stu2
[[email protected] ~]$ pwd
/home/wangshumin
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db
Found 6 items
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:31 /user/hive/warehouse/hive2_db1.db/stu1
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:59 /user/hive/warehouse/hive2_db1.db/stu12
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu2
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu3
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:13 /user/hive/warehouse/hive2_db1.db/stuin
-rw-r--r-- 3 wangshumin supergroup 53 2018-03-12 13:22 /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ hdfs dfs -cat /user/hive/warehouse/hive2_db1.db/stu12
cat: `/user/hive/warehouse/hive2_db1.db/stu12': Is a directory
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db/stu12
Found 3 items
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:56 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:58 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10001
drwxr-xr-x - wangshumin supergroup 0 2018-03-12 13:59 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10002
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000
Found 2 items
-rwxr-xr-x 3 wangshumin supergroup 69 2018-03-12 13:55 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000/stu2
-rwxr-xr-x 3 wangshumin supergroup 69 2018-03-12 13:56 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000/stu2_copy_1
[[email protected] ~]$ hdfs dfs -cat /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000/stu2
1 ,zhangshan ,20 ,1000
2 ,wangwu , 19 ,1100
3 ,xiaolu , 26 ,1200
[[email protected] ~]$ hdfs dfs -cat /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000/stu2_copy_1
1 ,zhangshan ,20 ,1000
2 ,wangwu , 19 ,1100
3 ,xiaolu , 26 ,1200
[[email protected] ~]$
hive> load data local inpath "/home/wangshumin/stu2" into table stu12 partition(coutr="10000");
Loading data to table hive2_db1.stu12 partition (coutr=10000)Partition hive2_db1.stu12{coutr=10000} stats: [numFiles=1, numRows=0, totalSize=69, rawDataSize=0]
OK
Time taken: 0.716 seconds
hive> load data local inpath "/home/wangshumin/stu2" into table stu12 partition(coutr="10000");
Loading data to table hive2_db1.stu12 partition (coutr=10000)
Partition hive2_db1.stu12{coutr=10000} stats: [numFiles=2, numRows=0, totalSize=138, rawDataSize=0]
OK
Time taken: 0.527 seconds
hive> select * from stu12;
OK
NULLzhangshan NULL10000
NULLwangwu NULL10000
NULLxiaolu NULL10000
NULLzhangshan NULL10000
NULLwangwu NULL10000
NULLxiaolu NULL10000
Time taken: 0.089 seconds, Fetched: 6 row(s)
hive>
>
>
>
> load data local inpath "/home/wangshumin/stu2" into table stu12 partition(coutr="10001");
Loading data to table hive2_db1.stu12 partition (coutr=10001)
Partition hive2_db1.stu12{coutr=10001} stats: [numFiles=1, numRows=0, totalSize=69, rawDataSize=0]
OK
Time taken: 0.51 seconds
hive> select * from stu12;
OK
NULLzhangshan NULL10000
NULLwangwu NULL10000
NULLxiaolu NULL10000
NULLzhangshan NULL10000
NULLwangwu NULL10000
NULLxiaolu NULL10000
NULLzhangshan NULL10001
NULLwangwu NULL10001
NULLxiaolu NULL10001
Time taken: 0.131 seconds, Fetched: 9 row(s)
hive> load data local inpath "/home/wangshumin/stu2" into table stu12 partition(coutr="10002");
Loading data to table hive2_db1.stu12 partition (coutr=10002)
Partition hive2_db1.stu12{coutr=10002} stats: [numFiles=1, numRows=0, totalSize=69, rawDataSize=0]
OK
Time taken: 0.397 seconds
hive> select * from stu12;
OK
NULLzhangshan NULL10000
NULLwangwu NULL10000
NULLxiaolu NULL10000
NULLzhangshan NULL10000
NULLwangwu NULL10000
NULLxiaolu NULL10000
NULLzhangshan NULL10001
NULLwangwu NULL10001
NULLxiaolu NULL10001
NULLzhangshan NULL10002
NULLwangwu NULL10002
NULLxiaolu NULL10002
Time taken: 0.084 seconds, Fetched: 12 row(s)
hive>
>
>
>
相關推薦
hdfs 和hive與 partition
home/wangshumin[[email protected] ~]$ hdfs dfs -cat /user/hive/warehouse/hive2_db1.db/stuincat: `/user/hive/warehouse/hive2_db1.db/st
使用Sqoop將資料從RDBMS(關係型資料庫) 到hdfs和Hive的匯入匯出
一、RDBMS 到 HDFS/HIVE 1.首先啟動Mysql service mysql start 2.在mysql中新建一張表並插入資料 # mysql -uroot -proot mysql> create table dept(id int pri
Sqoop 匯入資料到hdfs和hive總結
使用幫助 Sqoop help 檢視所有的sqoop的幫助 Sqoop help import 檢視import命令的幫助 Eg: sqoop匯入到HDFS的一個簡單示例: sqoop import --connect jdbc:mysql:
Linux-centos下安裝hue視覺化以及與hdfs、hive、hbase和mysql的整合
1. Hue概述及版本下載 1)概述 Hue是一個開源的Apache Hadoop UI系統,最早是由Cloudera Desktop演化而來,由Cloudera貢獻給開源社群,它是基於Python Web框架Django實現的。通過使用Hue我們可以在瀏覽器端的W
Sqoop與HDFS、Hive、Hbase等系統的資料同步操作
Sqoop與HDFS結合 下面我們結合 HDFS,介紹 Sqoop 從關係型資料庫的匯入和匯出。 Sqoop import
Hbase和Hive的區別,Hbase與傳統資料庫的區別
HBase 於 Hive 的區別,我們簡單的梳理一下 Hive 和 HBase 的應用場景: Hive 適合用來對一段時間內的資料進行分析查詢,例如,用來計算趨勢或者網站的日誌。Hive 不應該用來進行實時的查詢(Hive 的設計目的,也不是支援實時的查詢)。因為它需要很長時間才可以返回結果;H
hadoop1.x與hadoop2.x在HDFS和MapReduce上的區別
HDFS改進 ·hadoop1.x的HDFS體系架構 在Hadoop1.x中的NameNode只可能有一個,雖然可以通過SecondaryNameNode與NameNode進行資料同步備份,但是總會存在一定的延時,如果NameNode掛掉,但是如果有部份
Hive over HBase和Hive over HDFS效能比較分析
http://superlxw1234.iteye.com/blog/2008274環境配置:hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node)hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/
Kafka入門,producer和consumer與hive
{ "name":"hdfs-hive-sink-03", "config":{ "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector",
hive分割槽partition(動態和靜態分割槽混合使用; partition的簡介)
分割槽是hive存放資料的一種方式。將列值作為目錄來存放資料,就是一個分割槽。這樣where中給出列值時,只需根據列值直接掃描對應目錄下的資料,不掃面其他不關心的分割槽,快速定位,查詢節省大量時間。分動
Hive 與 HDFS 之間的聯絡、Hive 與 關係型資料庫的區別
1 Hive 與 HDFS 之間的聯絡 (1)hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 sql 查詢功能,可以將 sql 語句轉換為 MapReduce 任務進行執行。其優點是學習成本低,可以通
hive與json:使用HDFS上的json格式資料建立hive表
add jar /home/xxx/hive-hcatalog-core-2.1.0.jar 2.建立表 CREATE TABLE json_table(id bigint, sour
hive 與 hdfs 檔案的關係
Hive 是一個建立在hadoop檔案系統上的資料倉庫架構,可以用其對hdfs上資料進行分析與管理。 實際上是將hdfs上的檔案對映成table(按檔案格式建立table,然後hive的資料倉庫會生成對應的目錄,預設的倉庫路徑:user/hive/warehouse/tablename,目錄名與這個表名相同
HIVE與mysql的關係 hive常用命令整理 hive與hdfs整合過程
轉:https://my.oschina.net/winHerson/blog/190131 二、hive常用命令 1. 開啟行轉列功能之後: set hive.cli.print.header=true; // 列印列名 set hive.cli.print.row.to.vertical=true; /
ElasticSearch和Hive做整合
oop 執行 nod last space property style pan mil 1、上傳elasticsearh-hadoop的jar包到server1-hadoop-namenode-01上 在server1-hadoop-namenode-01上執行:
Jquery hover方法使用及 mouseenter與mouseleave和 mouseover與mouseout的區別
-m cto 1.8 一個 lec jquer href event handle 定義和用法 hover() 方法規定當鼠標指針懸停在被選元素上時要運行的兩個函數。 jQuery 1.7 版本前該方法觸發 mouseenter 和 mouseleave 事件。 jQuer
JavaSE7基礎 邏輯運算 普通與& 和 短路與&&的區別
mage 黑馬程序員 ima style jdk版本 黑馬 深入 參考 amp jdk版本 :jdk-7u72-windows-i586系統 :Windows7編輯器 :Notepad++ v7.4.2註意事項 :博文內容僅供參考,不可用於其他用途。
linux系統時間和時區與internet時間同步
linux 時間 時區 同步問題如此圖紅色區域# /usr/sbin/ntpdate time.nist.gov //手動同步時間後,發現與網絡時間還是不不對# vi /etc/sysconfig/clock //發現是new_york,ZONE="America/New_Yo
分布式文件系統比較出名的有HDFS? 和 GFS
sha 知識庫 repl 新浪微博 popu 騰訊 images 副本 replace 分布式文件系統比較出名的有HDFS 和 GFS,其中HDFS比較簡單一點。本文是一篇描述非常簡潔易懂的漫畫形式講解HDFS的原理。比一般PPT要通俗易懂很多。不難得的學習資料。1、三個
淺談NaN和undefined--------與君共勉
單詞 類型 賦值 使用 數值 數字類型 fin 類型轉換 bsp NaN不是一個數字,但卻是數字類型; undefined是聲明未賦值; typeof不能顯示NaN,因為NaN雖然不是number但是他的數據類型卻是number。 提示: 使用 isNaN() 來判斷一