1. 程式人生 > >hdfs 和hive與 partition

hdfs 和hive與 partition

home/wangshumin
[[email protected] ~]$ hdfs dfs -cat /user/hive/warehouse/hive2_db1.db/stuin
cat: `/user/hive/warehouse/hive2_db1.db/stuin': Is a directory
[[email protected] ~]$ hdfs dfs -rm r /user/hive/warehouse/hive2_db1.db/stuin
rm: `r': No such file or directory
rm: `/user/hive/warehouse/hive2_db1.db/stuin': Is a directory
[

[email protected] ~]$ hdfs dfs -rm /user/hive/warehouse/hive2_db1.db/stuout
rm: `/user/hive/warehouse/hive2_db1.db/stuout': Is a directory
[[email protected] ~]$ hdfs dfs 
Usage: hadoop fs [generic options]
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] <path> ...]
[-cp [-f] [-p] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]


Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|jobtracker:port>    specify a job tracker
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.


The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]


[
[email protected]
~]$ hdfs dfs -rmdir /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ hdfs dfs -ls /
Found 7 items
drwxr-xr-x   - wangshumin supergroup          0 2018-02-09 07:32 /data
drwxr-xr-x   - wangshumin supergroup          0 2018-02-09 07:41 /dataload_balance
drwxr-xr-x   - wangshumin supergroup          0 2018-02-09 07:18 /flumedata2
drwxr-xr-x   - wangshumin supergroup          0 2018-02-26 15:35 /hbase
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:16 /hivedata
drwx-wx-wx   - wangshumin supergroup          0 2018-03-12 13:04 /tmp
drwxr-xr-x   - wangshumin supergroup          0 2018-02-09 06:50 /user
[
[email protected]
~]$ hdfs dfs -rmdir /hivedata
[[email protected] ~]$ hdfs dfs -ls /
Found 6 items
drwxr-xr-x   - wangshumin supergroup          0 2018-02-09 07:32 /data
drwxr-xr-x   - wangshumin supergroup          0 2018-02-09 07:41 /dataload_balance
drwxr-xr-x   - wangshumin supergroup          0 2018-02-09 07:18 /flumedata2
drwxr-xr-x   - wangshumin supergroup          0 2018-02-26 15:35 /hbase
drwx-wx-wx   - wangshumin supergroup          0 2018-03-12 13:04 /tmp
drwxr-xr-x   - wangshumin supergroup          0 2018-02-09 06:50 /user
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db/
Found 4 items
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:31 /user/hive/warehouse/hive2_db1.db/stu1
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu2
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu3
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:13 /user/hive/warehouse/hive2_db1.db/stuin
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db/
Found 4 items
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:31 /user/hive/warehouse/hive2_db1.db/stu1
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu2
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu3
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:13 /user/hive/warehouse/hive2_db1.db/stuin
[[email protected] ~]$ hdfs dfs -put  stu3 /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ hdfs dfs -ls /user/hive/warehouse/hive2_db1.db/stuout
-rw-r--r--   3 wangshumin supergroup         53 2018-03-12 13:22 /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ hdfs dfs -cat  /user/hive/warehouse/hive2_db1.db/stuout
1 , zhangshan , 20
2 , wangwu  , 19
3 , xiaolu  , 26
[[email protected] ~]$ hdfs dfs -put  stu3 /user/hive/hivedata
[[email protected] ~]$ hdfs dfs -cat   /user/hive/hivedata/stu3
1 , zhangshan , 20
2 , wangwu  , 19
3 , xiaolu  , 26
[[email protected] ~]$ hdfs dfs -rm   /user/hive/hivedata/stu3
18/03/12 13:31:51 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /user/hive/hivedata/stu3
[[email protected] ~]$ hdfs dfs -ls   /user/hive/hivedata
[[email protected] ~]$ hdfs dfs -put  stu3 /user/hive/hivedata
[[email protected] ~]$ hdfs dfs -cat   /user/hive/hivedata/stu3
1 , zhangshan , 20
2 , wangwu  , 19
3 , xiaolu  , 26
[[email protected] ~]$ hdfs dfs -cat   /user/hive/hivedata/stu3
1 , zhangshan , 20
2 , wangwu  , 19
3 , xiaolu  , 26
[[email protected] ~]$ hdfs dfs -ls   /user/hive/warehouse/hive2_db1.db
Found 5 items
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:31 /user/hive/warehouse/hive2_db1.db/stu1
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu2
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu3
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:13 /user/hive/warehouse/hive2_db1.db/stuin
-rw-r--r--   3 wangshumin supergroup         53 2018-03-12 13:22 /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ vim hsql
[[email protected] ~]$ cat hsql 
 create external table  stuout( id int , name  String , age  int ) 
 row format delimited 
 fields terminated by ',' 
 location "/user/hive/hivedata"
 ;
[[email protected] ~]$ vim  stu2
[[email protected] ~]$ pwd
/home/wangshumin
[[email protected] ~]$ hdfs dfs -ls  /user/hive/warehouse/hive2_db1.db
Found 6 items
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:31 /user/hive/warehouse/hive2_db1.db/stu1
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:59 /user/hive/warehouse/hive2_db1.db/stu12
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu2
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 11:48 /user/hive/warehouse/hive2_db1.db/stu3
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:13 /user/hive/warehouse/hive2_db1.db/stuin
-rw-r--r--   3 wangshumin supergroup         53 2018-03-12 13:22 /user/hive/warehouse/hive2_db1.db/stuout
[[email protected] ~]$ hdfs dfs -cat  /user/hive/warehouse/hive2_db1.db/stu12
cat: `/user/hive/warehouse/hive2_db1.db/stu12': Is a directory
[[email protected] ~]$ hdfs dfs -ls  /user/hive/warehouse/hive2_db1.db/stu12
Found 3 items
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:56 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:58 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10001
drwxr-xr-x   - wangshumin supergroup          0 2018-03-12 13:59 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10002
[[email protected] ~]$ hdfs dfs -ls  /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000
Found 2 items
-rwxr-xr-x   3 wangshumin supergroup         69 2018-03-12 13:55 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000/stu2
-rwxr-xr-x   3 wangshumin supergroup         69 2018-03-12 13:56 /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000/stu2_copy_1
[[email protected] ~]$ hdfs dfs -cat  /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000/stu2
1 ,zhangshan ,20 ,1000
2 ,wangwu  ,  19 ,1100
3 ,xiaolu  ,  26 ,1200
[[email protected] ~]$ hdfs dfs -cat  /user/hive/warehouse/hive2_db1.db/stu12/coutr=10000/stu2_copy_1
1 ,zhangshan ,20 ,1000
2 ,wangwu  ,  19 ,1100
3 ,xiaolu  ,  26 ,1200
[[email protected] ~]$ 

hive> load data local inpath "/home/wangshumin/stu2"  into  table stu12 partition(coutr="10000");

Loading data to table hive2_db1.stu12 partition (coutr=10000)
Partition hive2_db1.stu12{coutr=10000} stats: [numFiles=1, numRows=0, totalSize=69, rawDataSize=0]
OK
Time taken: 0.716 seconds
hive> load data local inpath "/home/wangshumin/stu2"  into  table stu12 partition(coutr="10000");
Loading data to table hive2_db1.stu12 partition (coutr=10000)
Partition hive2_db1.stu12{coutr=10000} stats: [numFiles=2, numRows=0, totalSize=138, rawDataSize=0]
OK
Time taken: 0.527 seconds
hive> select  * from  stu12;
OK
NULLzhangshan NULL10000
NULLwangwu  NULL10000
NULLxiaolu  NULL10000
NULLzhangshan NULL10000
NULLwangwu  NULL10000
NULLxiaolu  NULL10000
Time taken: 0.089 seconds, Fetched: 6 row(s)
hive> 
    > 
    > 
    > 
    > load data local inpath "/home/wangshumin/stu2"  into  table stu12 partition(coutr="10001");
Loading data to table hive2_db1.stu12 partition (coutr=10001)
Partition hive2_db1.stu12{coutr=10001} stats: [numFiles=1, numRows=0, totalSize=69, rawDataSize=0]
OK
Time taken: 0.51 seconds
hive> select  * from  stu12;
OK
NULLzhangshan NULL10000
NULLwangwu  NULL10000
NULLxiaolu  NULL10000
NULLzhangshan NULL10000
NULLwangwu  NULL10000
NULLxiaolu  NULL10000
NULLzhangshan NULL10001
NULLwangwu  NULL10001
NULLxiaolu  NULL10001
Time taken: 0.131 seconds, Fetched: 9 row(s)
hive> load data local inpath "/home/wangshumin/stu2"  into  table stu12 partition(coutr="10002");
Loading data to table hive2_db1.stu12 partition (coutr=10002)
Partition hive2_db1.stu12{coutr=10002} stats: [numFiles=1, numRows=0, totalSize=69, rawDataSize=0]
OK
Time taken: 0.397 seconds
hive> select  * from  stu12;
OK
NULLzhangshan NULL10000
NULLwangwu  NULL10000
NULLxiaolu  NULL10000
NULLzhangshan NULL10000
NULLwangwu  NULL10000
NULLxiaolu  NULL10000
NULLzhangshan NULL10001
NULLwangwu  NULL10001
NULLxiaolu  NULL10001
NULLzhangshan NULL10002
NULLwangwu  NULL10002
NULLxiaolu  NULL10002
Time taken: 0.084 seconds, Fetched: 12 row(s)
hive> 
    > 
    > 
    > 

相關推薦

hdfs hive partition

home/wangshumin[[email protected] ~]$ hdfs dfs -cat /user/hive/warehouse/hive2_db1.db/stuincat: `/user/hive/warehouse/hive2_db1.db/st

使用Sqoop將資料從RDBMS(關係型資料庫) 到hdfsHive的匯入匯出

一、RDBMS 到 HDFS/HIVE 1.首先啟動Mysql service mysql start 2.在mysql中新建一張表並插入資料 # mysql -uroot -proot mysql> create table dept(id int pri

Sqoop 匯入資料到hdfshive總結

使用幫助 Sqoop help 檢視所有的sqoop的幫助 Sqoop help import 檢視import命令的幫助 Eg: sqoop匯入到HDFS的一個簡單示例: sqoop import         --connect jdbc:mysql:

Linux-centos下安裝hue視覺化以及hdfshive、hbasemysql的整合

1. Hue概述及版本下載 1)概述     Hue是一個開源的Apache Hadoop UI系統,最早是由Cloudera Desktop演化而來,由Cloudera貢獻給開源社群,它是基於Python Web框架Django實現的。通過使用Hue我們可以在瀏覽器端的W

SqoopHDFSHive、Hbase等系統的資料同步操作

Sqoop與HDFS結合         下面我們結合 HDFS,介紹 Sqoop 從關係型資料庫的匯入和匯出。 Sqoop import        

HbaseHive的區別,Hbase傳統資料庫的區別

HBase 於 Hive 的區別,我們簡單的梳理一下 Hive 和 HBase 的應用場景: Hive 適合用來對一段時間內的資料進行分析查詢,例如,用來計算趨勢或者網站的日誌。Hive 不應該用來進行實時的查詢(Hive 的設計目的,也不是支援實時的查詢)。因為它需要很長時間才可以返回結果;H

hadoop1.xhadoop2.x在HDFSMapReduce上的區別

HDFS改進  ·hadoop1.x的HDFS體系架構          在Hadoop1.x中的NameNode只可能有一個,雖然可以通過SecondaryNameNode與NameNode進行資料同步備份,但是總會存在一定的延時,如果NameNode掛掉,但是如果有部份

Hive over HBaseHive over HDFS效能比較分析

http://superlxw1234.iteye.com/blog/2008274環境配置:hadoop-2.0.0-cdh4.3.0 (4 nodes, 24G mem/node)hbase-0.94.6-cdh4.3.0 (4 nodes,maxHeapMB=9973/

Kafka入門,producerconsumerhive

{        "name":"hdfs-hive-sink-03",        "config":{               "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector",

hive分割槽partition(動態靜態分割槽混合使用; partition的簡介)

分割槽是hive存放資料的一種方式。將列值作為目錄來存放資料,就是一個分割槽。這樣where中給出列值時,只需根據列值直接掃描對應目錄下的資料,不掃面其他不關心的分割槽,快速定位,查詢節省大量時間。分動

Hive HDFS 之間的聯絡、Hive 關係型資料庫的區別

1 Hive 與 HDFS 之間的聯絡 (1)hive 是基於 Hadoop 的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供完整的 sql 查詢功能,可以將 sql 語句轉換為 MapReduce 任務進行執行。其優點是學習成本低,可以通

hivejson:使用HDFS上的json格式資料建立hive

add jar /home/xxx/hive-hcatalog-core-2.1.0.jar 2.建立表 CREATE TABLE json_table(id bigint, sour

hive hdfs 檔案的關係

Hive 是一個建立在hadoop檔案系統上的資料倉庫架構,可以用其對hdfs上資料進行分析與管理。 實際上是將hdfs上的檔案對映成table(按檔案格式建立table,然後hive的資料倉庫會生成對應的目錄,預設的倉庫路徑:user/hive/warehouse/tablename,目錄名與這個表名相同

HIVEmysql的關係 hive常用命令整理 hivehdfs整合過程

轉:https://my.oschina.net/winHerson/blog/190131 二、hive常用命令 1. 開啟行轉列功能之後: set hive.cli.print.header=true; // 列印列名 set hive.cli.print.row.to.vertical=true; /

ElasticSearchHive做整合

oop 執行 nod last space property style pan mil 1、上傳elasticsearh-hadoop的jar包到server1-hadoop-namenode-01上 在server1-hadoop-namenode-01上執行:

Jquery hover方法使用及 mouseentermouseleave mouseovermouseout的區別

-m cto 1.8 一個 lec jquer href event handle 定義和用法 hover() 方法規定當鼠標指針懸停在被選元素上時要運行的兩個函數。 jQuery 1.7 版本前該方法觸發 mouseenter 和 mouseleave 事件。 jQuer

JavaSE7基礎 邏輯運算 普通& 短路&&的區別

mage 黑馬程序員 ima style jdk版本 黑馬 深入 參考 amp jdk版本 :jdk-7u72-windows-i586系統 :Windows7編輯器 :Notepad++ v7.4.2註意事項 :博文內容僅供參考,不可用於其他用途。

linux系統時間時區internet時間同步

linux 時間 時區 同步問題如此圖紅色區域# /usr/sbin/ntpdate time.nist.gov //手動同步時間後,發現與網絡時間還是不不對# vi /etc/sysconfig/clock //發現是new_york,ZONE="America/New_Yo

分布式文件系統比較出名的有HDFS? GFS

sha 知識庫 repl 新浪微博 popu 騰訊 images 副本 replace 分布式文件系統比較出名的有HDFS 和 GFS,其中HDFS比較簡單一點。本文是一篇描述非常簡潔易懂的漫畫形式講解HDFS的原理。比一般PPT要通俗易懂很多。不難得的學習資料。1、三個

淺談NaNundefined--------君共勉

單詞 類型 賦值 使用 數值 數字類型 fin 類型轉換 bsp NaN不是一個數字,但卻是數字類型; undefined是聲明未賦值; typeof不能顯示NaN,因為NaN雖然不是number但是他的數據類型卻是number。 提示: 使用 isNaN() 來判斷一