1. 程式人生 > >hive 的資料匯入和匯出

hive 的資料匯入和匯出

【匯入】
1.load  data [local]
 -->本地,將資料檔案copy到hdfs對應的目錄,適合大部分場景使用
 load data local inpath ' /opt/datas/emp.tx'  into table emp;
 load  data  local  inpath '資料檔案所在的目錄(local_path)' into  table  tablename;
 --->HDFS ,將資料檔案move到hdfs對應的目錄上,適合大資料集的儲存
 load  data inpath ‘hdfs_path’into  table  tablename ;\
 load  data inpath ‘ /user/hive/warehouse/db_emp.db/student_b.txt’into  table  student_b ;
 2.load  data +overwrite  【覆蓋資料】
 load data [local] inpath 'path' overwrite into table  tablename;
 -->適合重複寫入資料的表,一般指的是零時表,作為過渡使用
 3.as select
 create table tb(先建表)  as select * from tb1;
 -->適合資料查詢結果的儲存
 4.insert方式
 insert  into  select  sql;---》追加
 insert overwrite  table  select sql --》覆蓋
    測試:
    create  table tb  like dept;(dept是庫中已有的表,並且有資料)
    載入資料  insert  into table tb  select  * from dept;
  5.location 方式
  【匯出】
  1.insert   overwrite  [local]  directory 'path' select  sql ;
  --->本地  insert   overwrite  local  directory '/opt/datas/emp_01' select  * from  emp;
  --->hdfs   insert  overwrite  directory '/emp_02' select * from emp;    (/  是hdfs根目錄)
  2.bin/hdfs  dfs  -get  xxx  下載資料檔案(hive 客戶端)
  3.bin/hive  -e   或者  -f  >>  或者 >  (>> 追加      > 覆蓋)
  4.sqoop 方式:import匯入和export 匯出

相關推薦

hive資料匯入匯出

【匯入】 1.load  data [local]  -->本地,將資料檔案copy到hdfs對應的目錄,適合大部分場景使用  load data local inpath ' /opt/datas/emp.tx'  into table emp;  load  data  local  inpath

Navicat Premium -- 資料匯入匯出

一、匯入資料——將Excel 檔案匯入到資料庫           ● 執行“匯入嚮導”,選擇匯入資料的型別,選擇表型別:Excel 檔案;           ● 選擇檔案資料來源,即選擇需要匯入的 Excel 檔案的位置;           ● 選擇需要匯入的表,

PHPExcel整合對資料匯入匯出

<?php /** * Created by PhpStorm. * User: admin * Date: 2017/8/15 * Time: 9:07 */ class User extends CI_Controller { public function __co

mysql 表資料匯入匯出

一、匯出資料庫用mysqldump命令(注意mysql的安裝路徑,即此命令的路徑): 1、匯出資料和表結構: mysqldump -u使用者名稱 -p密碼 資料庫名 > 資料庫名.sql #/usr/local/mysql/bin/   mysqldump -uro

Confluence 6 資料匯入匯出

Confluence 管理員和使用者可以從各種方法向  Confluence 中匯入資料。針對不同的匯入方式,有關許可權的要求也是不相同的。請參考頁面 Import Content Into Confluence 中內容。 (adsbygoogle = window.ad

資料匯入匯出的幾種方法

資料匯出主要有以下幾種方法: 使用select into outfile "filename"語句 使用mysqldump實用程式 1,如:select * from user into outfile 'user.txt'; 或者select * into outf

Oracle 9i 資料庫 資料匯入匯出的最簡單的方法

匯出命令:Exp <username>/<password>@[<netname>]  owner=<ownername> file=<filepath>解釋一下:資料匯出要用到EXP命令,直接執行cmd,輸入實際的

Falcon(三)——Falcon資料匯入匯出

綜述 Falcon提供了週期性的將源資料從外部資料庫(資料庫,drop boxes etc)匯入到Hadoop上以及將講過Hadoop運算的資料匯出到外部的資料庫。 在至今所有的版本中,Falcon僅僅支援關係型資料庫(Mysql,Oracle等)講過JDB

資料搬運元件:基於Sqoop管理資料匯入匯出

本文原始碼:[GitHub](https://github.com/cicadasmile/big-data-parent) || [GitEE](https://gitee.com/cicadasmile/big-data-parent) # 一、Sqoop概述 Sqoop是一款開源的大資料元件,主要

Hive的DML操作資料匯入匯出

Hive的DML資料操作 資料的匯入 向表中裝載資料(load):: 語法 hive>load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table studen

Hive資料匯入匯出

1.Load files into tables   格式: load data [local] inpath ’ filePath‘[overwrite]into table tablename [

mysql資料匯入匯出

  一. mysqldump工具基本用法,不適用於大資料備份   1. 備份所有資料庫: mysqldump -u root -p --all-databases > all_database_sql 2. 備份mysql資料庫:mysql

SpringBoot通過WorkBook快速實現對Excel的匯入匯出(包括資料校驗)

之前轉載過一篇對Excel基本操作相關的文章,這篇文章的瀏覽量迅速飆升,以至於在我部落格的熱門文章中排到了第三的位置,不過那篇轉載的文章實用性差並且講解不是很清晰,所以打算趁著今天休息,寫一篇關於SpringBoot通過WorkBook快速實現對Excel的匯入、匯出、資料校驗的文章,也是便於日後查

【Oracle】匯入匯出 EXP / IMP EXPDP / IMPDP 資料匯出匯入的方法

  【Oracle】EXPDP和IMPDP資料泵進行匯出匯入的方法 一、expdp/impdp和exp/imp的區別 1、exp和imp是客戶端工具程式,它們既可以在客戶端使用,也可以在服務端使用。 2、expdp和impdp是服務端的工具程式,他們只能在oracle服務端

【MATLAB】匯入匯出Excel資料

1 寫在前面 MATLAB 中有時候需要用到外部的資料進行模擬計算,或者有時需要把 MATLAB 中的資料匯出到外部表格,這就用到 Excel 與 MATLAB 之間的命令函式。 2 匯入 A=xlsread('xxx.xlsx') # xxx 為檔名稱 其中

thinkphp5 整合phpexcel匯入匯出資料

<?php namespace app\index\controller; use think\Controller; use think\Db; class Index extends Controller{         public function index

Hive資料匯入匯出的幾種方式

一,Hive資料匯入的幾種方式 首先列出講述下面幾種匯入方式的資料和hive表。 Hive表: 建立testA: CREATE TABLE testA ( id INT, name string, area string ) PARTITIONED BY (crea

Hive學習(二)-資料匯入匯出

首先,要知道HIve中表的列(field)是以何種方式分隔的。Hive表中預設的記錄何欄位分割符分隔符描述\n對於文字檔案來說,每行都是一條記錄,因此換行符可以進行分隔^A(Ctrl+A)用於分隔欄位(列),在create table語句中可以使用八進位制編碼\001表示^B

基於MVC4+EasyUI的Web開發框架經驗總結(10)--在Web介面上實現資料匯入匯出

資料的匯入匯出,在很多系統裡面都比較常見,這個匯入匯出的操作,在Winform裡面比較容易實現,我曾經在之前的一篇文章《Winform開發框架之通用資料匯入匯出操作》介紹了在Winform裡面的通用匯入匯出模組的設計和開發過程,但在Web上我們應該如何實現呢?本文主要介紹利用MVC4+EasyUI的特點,並結

資料匯入匯出

資料泵技術是Oracle Database 10g 中的新技術,它比原來匯入/匯出(imp,exp)技術快15-45倍。速度的提高源於使用了並行技術來讀寫匯出轉儲檔案。 匯入:IMPDP newtouch_uap/[email protected]:15000/x