從HDFS拷貝一個表到系統目錄生成CSV
1.首先建立一個文字表(text表)，預設create table xx as select * from xxx ; 就生成了xx文字表。
這裡s1_date 是已經建好的文字表，不再累述。
2. 檢視文字表s1_date在hdfs儲存的位置。
[slave20:21000] > describe formatted s1_date; Query: describe formatted s1_date +---------------------------------+------------------------------------------------------------+----------------------+ | name | type | comment | +---------------------------------+------------------------------------------------------------+----------------------+ | # col_name | data_type | comment | | | NULL | NULL | | eci | int | NULL | | s1_cnt_erabcreate_req | bigint | NULL | | s1_cnt_erabcreate_succ | bigint | NULL | | s1_cnt_hoout_req | bigint | NULL | | s1_cnt_hoout_succ | bigint | NULL | | s1_cnt_erabrelease_req | bigint | NULL | | s1_cnt_uerelease | bigint | NULL | | s1_cnt_uerelease_abnormal | bigint | NULL | | user_cnt_tcp_downretrans | bigint | NULL | | user_octet_up | bigint | NULL | | user_octet_down | bigint | NULL | | user_totaldelay_http_page30 | bigint | NULL | | user_totaloctet_http_page30 | bigint | NULL | | user_totaldelay_http_pageless30 | bigint | NULL | | user_cnt_http_pageless30 | bigint | NULL | | user_totaloctet_http_page500 | bigint | NULL | | user_totaldelay_http_page500 | bigint | NULL | | user_totaloctet_http_page2 | bigint | NULL | | user_totaldelay_http_page2 | bigint | NULL | | user_cnt_tcp_upretrans | bigint | NULL | | | NULL | NULL | | # Detailed Table Information | NULL | NULL | | Database: | mobile | NULL | | Owner: | impala | NULL | | CreateTime: | Tue Dec 29 21:30:40 CST 2015 | NULL | | LastAccessTime: | UNKNOWN | NULL | | Protect Mode: | None | NULL | | Retention: | 0 | NULL | | Location: | hdfs://myha/user/hive/warehouse/mobile.db/s1_date | NULL | | Table Type: | MANAGED_TABLE | NULL | | Table Parameters: | NULL | NULL | | | transient_lastDdlTime | 1451395840 | | | NULL | NULL | | # Storage Information | NULL | NULL | | SerDe Library: | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe | NULL | | InputFormat: | org.apache.hadoop.mapred.TextInputFormat | NULL | | OutputFormat: | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat | NULL | | Compressed: | No | NULL | | Num Buckets: | 0 | NULL | | Bucket Columns: | [] | NULL | | Sort Columns: | [] | NULL | +---------------------------------+------------------------------------------------------------+----------------------+ Fetched 43 row(s) in 0.15s
3. 回到master節點，檢視該路徑下有多少個檔案，是否正確。
[slave20:21000] > exit;[[email protected]~]# hadoop fs -ls /user/hive/warehouse/mobile.db/s1_date/ Found 48 items drwxrwxrwx - impala supergroup 0 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/.impala_insert_staging -rw-r--r-- 2 impala supergroup 28040 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a3_1538064594_data.0. -rw-r--r-- 2 impala supergroup 27948 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a4_1769399956_data.0. -rw-r--r-- 2 impala supergroup 26547 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a5_376761693_data.0. -rw-r--r-- 2 impala supergroup 27712 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a6_748289471_data.0. -rw-r--r-- 2 impala supergroup 26024 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a7_376761693_data.0. -rw-r--r-- 2 impala supergroup 25695 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a8_2090998726_data.0. -rw-r--r-- 2 impala supergroup 27486 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53a9_1028851036_data.0. -rw-r--r-- 2 impala supergroup 26543 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53aa_1410957694_data.0. -rw-r--r-- 2 impala supergroup 29005 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53ab_1984115561_data.0. -rw-r--r-- 2 impala supergroup 23728 2015-12-29 21:31 /user/hive/warehouse/mobile.db/s1_date/cc4fd90699199b86-7baa2858d61b53ac_1346909925_data.0.
4.檢視該表的記錄條數
[[email protected] ~]# impala-shell -i slave30 Starting Impala Shell without Kerberos authentication Connected to slave30:21000 Server version: impalad version 2.0.1-cdh5 RELEASE (build cc09df07d93c79351052eef2f4e5baf52373dc33) Welcome to the Impala shell. Press TAB twice to see a list of available commands. Copyright (c) 2012 Cloudera, Inc. All rights reserved. (Shell build version: Impala Shell v2.0.1-cdh5 (cc09df0) built on Wed Nov 19 10:57:34 PST 2014) [slave30:21000] > use mobile; Query: use mobile [slave30:21000] > select count(*) from s1_date; Query: select count(*) from s1_date +----------+ | count(*) | +----------+ | 9226 |
5.在本地建個s1_date 目錄，並進入目錄
[[email protected] ~]# mkdir s1_date;
[[email protected] ~]# cd s1_date/
[[email protected] s1_date]# ls6.從HDFS拷貝到本地目錄 s1_date
[[email protected] s1_date]# hadoop fs -copyToLocal /user/hive/warehouse/mobile.db/s1_date/* .
[[email protected] s1_date]# pwd
/root/s1_date
[[email protected] s1_date]# ls
cc4fd90699199b86-7baa2858d61b53a3_1538064594_data.0. cc4fd90699199b86-7baa2858d61b53b3_533285813_data.0. cc4fd90699199b86-7baa2858d61b53c3_1880186907_data.0.
cc4fd90699199b86-7baa2858d61b53a4_1769399956_data.0. cc4fd90699199b86-7baa2858d61b53b4_781871636_data.0. cc4fd90699199b86-7baa2858d61b53c4_1108168201_data.0.
cc4fd90699199b86-7baa2858d61b53a5_376761693_data.0. cc4fd90699199b86-7baa2858d61b53b5_1226722329_data.0. cc4fd90699199b86-7baa2858d61b53c5_1865579449_data.0.
cc4fd90699199b86-7baa2858d61b53a6_748289471_data.0. cc4fd90699199b86-7baa2858d61b53b6_1892136031_data.0. cc4fd90699199b86-7baa2858d61b53c6_568737959_data.0.
cc4fd90699199b86-7baa2858d61b53a7_376761693_data.0. cc4fd90699199b86-7baa2858d61b53b7_1139362409_data.0. cc4fd90699199b86-7baa2858d61b53c7_491335232_data.0.
cc4fd90699199b86-7baa2858d61b53a8_2090998726_data.0. cc4fd90699199b86-7baa2858d61b53b8_969914465_data.0. cc4fd90699199b86-7baa2858d61b53c8_1413328270_data.0.
cc4fd90699199b86-7baa2858d61b53a9_1028851036_data.0. cc4fd90699199b86-7baa2858d61b53b9_419715216_data.0. cc4fd90699199b86-7baa2858d61b53c9_855410744_data.0.
7.檢視拷貝出來的檔案個數 ，是否與表條數相同
[[email protected] s1_date]# cat * |wc -l
9226
8.把所有資料放入csv中，下載即可（如果分隔符不對，需要重新替換分隔符，才能正常開啟）
[[email protected] s1_date]# cat * > s1_date.csv
[[email protected] s1_date]# cat s1_date.csv |wc -l
9226
[[email protected] s1_date]# sz s1_date.csv
*B00000000000000重新儲存，用csv開啟
相關推薦
從HDFS拷貝一個表到系統目錄生成CSV
1.首先建立一個文字表(text表)，預設create table xx as select * from xxx ; 就生成了xx文字表。 這裡s1_date 是已經建好的文字表，不再累述。 2. 檢視文字表s1_date在hdfs儲存的位置。 [slave20
Sqoop從HDFS匯出Hive表到Mysql的shell指令碼
因統計需求，要指將Spark SQL計算好的結果，從Hive匯出到Mysql資料庫，於是寫了個批量導的指令碼。 執行引數： 開始時間 結束時間 注意點： 1. 在shell中，sqoop語句的每
將檔案或目錄拷貝到另一個Linux系統的命令scp
1、功能說明 scp就是security copy，用於將檔案或者目錄從一個Linux系統拷貝到另一個Linux系統下。scp傳輸資料用的是SSH協議，保證了資料傳輸的安全，其格式如下：scp 遠端使用者名稱@IP地址：檔案的絕對路徑 本地Linux系統路徑 scp 本地Linux系統檔案路徑 遠端使用者
更新表字段，從另一個表中查詢出來
code upd 另一個 查詢 print ng- ble where sql UPDATE t SET t.Premium = (SELECT TOP 1 Max（ t2.Premium ） FROM dbo.TableName t
（24）Python實現遞歸生成或者刪除一個文件目錄及文件
path 生成 std fun created elif ror spa else import os,errno #基本工具類 #①遞歸生成輸入的路徑下面的文件夾或文件 #②遞歸刪除輸入的路徑下面的文件夾及文件 ‘‘‘ param : dirPath return :
從零啟動一個JAVA SSM專案詳細步驟目錄
詳解大型網際網路專案服務端架構演進歷程 JAVA環境配置 1、Linux軟體源配置操作 2、Linux系統 jdk安裝實操 3、Linux系統tomcat安裝 4、Linux下Maven專案構建與管理工具 5、Linux下vsftpd檔案伺服器安裝與配置
解決mybatis註解開發時兩表在一個方法裡面新增，一個表自動生成的主鍵作為另一個表的外來鍵新增的問題
1、mapper層裡的方法上添加註解： 實體類屬性：cExperimentaltaskid（id） 表字段：c_experimentaltaskid（主鍵id欄位） @Options(useGeneratedKeys = true, keyProperty = "cExperimentalta
資料庫中某個表中的某個欄位的值是用逗號隔開的多個值，根據逗號拆分並從另一個表中查出資料返回
有兩個表A，B,表結構如下： A表 B表 關聯關係說明如下： （1）A.hospital_catalog=B.id （2）A表中hospital_catalog欄位的值是以 逗號 “,” 隔開，且兩邊用中括號“[ ]”包起，
C#拷貝一個庫的表到另外一個庫中
public string Copy() { //要複製的表名 string table = "AAAAA"; //構造連線字串 OracleConnectionString
如何從零開始用Keras開發一個機器翻譯系統
參考： https://yq.aliyun.com/articles/475854?utm_content=m_42632 #load doc into memory def load_doc(filename): #open the file a
python 拷貝一個目錄
# 拷貝目錄 def copy_dir(src, dst): # 同一地址無需拷貝 if os.path.abspath(src) == os.path.abspath(dst): print('地址相同，無需拷貝') retu
從資料表查詢資料生成資料表
NpgsqlDataAdapter dataDa = new NpgsqlDataAdapter(sql, conn); DataSet dataDs = new DataSet(); dataDa.Fill(dataDs,table); DataView mDataview = new D
ZeroMQ介面函式之 ：zmq_z85_decode – 從一個用Z85演算法生成的文字中解析出二進位制密碼
zmq_z85_decode(3) ØMQ Manual - ØMQ/4.1.0 Name zmq_z85_decode – 從一個用Z85演算法生成的文字中解析出二進位制密碼 Synopsis uint8_t *zmq_z85_decode (uint8_t *dest, c
判斷本地系統目錄下是否存在XML檔案，如果不存在就建立一個XMl檔案，若存在就在裡面執行新增資料
這是我為專案中寫的一個測試的例子， 假如，您需要這樣一個xml檔案， <?xml version="1.0" encoding="utf-8"?> <A> <a> <id>001</id> <name>le
Mysql增加新列，從另一個表中插入對應的資料
有測試表A（test_door）如下，新增doorName列，需要從測試表表B（tset_name）中更新對應的資料 測試表B如下 測試表A與doorId與表B Id欄位對應 如何更新？網
Sql Server儲存過程從一個表中抓取資料填充到另一張表中
set ANSI_NULLS ON set QUOTED_IDENTIFIER ON go -- ============================================= -- Author: <alex,,Name> -- Create
mysql從匯出資料的sql檔案中只匯入指定的一個表
場景 昨天系統自動備份了某一個數據庫的全部表資料，名dbAll.sql.gz。檔案較大(如40G) 今天因發現某一個表tableA的一條資料存在問題，需核對兩條記錄的變化。需從dbAll中找回tableA的資料，以便比較該記錄。 操作方案 1.將dbAll.sql
mysql 從一個表中查資料，插入另一個表。。
其實很簡單，只是為了忘記，做個記錄，用的時候方便。 INSERT INTO TPersonnelChange( UserId, DepId, SubDepId, PostionType, AuthorityId, ChangeDateS, InsertDate
mysql實現從複製某個表內的某一欄位到另外一個表的方法
在寫sql的過程中，出現一個需要把某表的的某列資料全部更新到另一張表的某列中的需求，然後查了下資料，得到了答案，所以總結記錄一下。方法一：更新某一列到另一列update table1 a,table2
從HDFS檔案系統中讀寫檔案原理
1、從HDFS檔案系統中寫檔案 1、客戶端發起請求要寫檔案 /aa/jdk.tgz 2、namenode會檢查該目錄是否存在，返回是否可寫 3、客戶端請求寫入第一個block 4、namenode返回3個datanode主機