2. 程式人生 > >hive呼叫Linux的shell命令測試

hive呼叫Linux的shell命令測試

阿新 • • 發佈：2018-12-22
hive>SELECT TRANSFORM(a.id,a.name) USING '/bin/cat -n'  AS (num,id,name) FROM cjhtest a;
Query ID = hadoop_20150915011212_ab2c282c-85cc-4c23-9f3b-618b4c8d9127 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator Kill Command = /home/hadoop/hadoop/bin/hadoop job  -kill job_1442286555409_0018
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0 2015-09-15 01:12:26,427 Stage-1 map = 0%,  reduce = 0% 2015-09-15 01:12:30,622 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.68 sec MapReduce Total cumulative CPU time: 680 msec Ended Job = job_1442286555409_0018 MapReduce Jobs Launched:
Stage-Stage-1: Map: 1   Cumulative CPU: 0.68 sec   HDFS Read: 261 HDFS Write: 86 SUCCESS Total MapReduce CPU Time Spent: 680 msec OK      1  12345   chengjihui      2  32444   duanbin      3  39479   luobao      4  42947   gaojian Time taken: 11.19 seconds, Fetched: 4 row(s)
也可以直接寫Linux命令，如下： hive> SELECT TRANSFORM(a.id,a.name) USING 'cat -n'  AS (num,id,name) FROM cjhtest a;
Query ID = hadoop_20150915011414_fa583fb9-c3fa-46b2-8c36-50d70bbd14cd
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1442286555409_0019, Tracking URL = http://cjh1:8088/proxy/application_1442286555409_0019/
Kill Command = /home/hadoop/hadoop/bin/hadoop job  -kill job_1442286555409_0019
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2015-09-15 01:14:08,728 Stage-1 map = 0%,  reduce = 0%
2015-09-15 01:14:13,954 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.7 sec
MapReduce Total cumulative CPU time: 700 msec
Ended Job = job_1442286555409_0019
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1   Cumulative CPU: 0.7 sec   HDFS Read: 261 HDFS Write: 86 SUCCESS
Total MapReduce CPU Time Spent: 700 msec
OK
     1  12345   chengjihui
     2  32444   duanbin
     3  39479   luobao
     4  42947   gaojian
Time taken: 11.383 seconds, Fetched: 4 row(s)
下面是寫了兩個awk，wc 的簡單測試：     awk（我這裡把awk的模式和行為用""括起來，''會報錯）          hive> SELECT TRANSFORM(a.id,a.name) USING '/bin/awk "{print $2}"'  AS (name) FROM cjhtest a;
Query ID = hadoop_20150915011919_059f6261-10eb-4cd6-85d7-77fdb17a06f3
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1442286555409_0023, Tracking URL = http://cjh1:8088/proxy/application_1442286555409_0023/
Kill Command = /home/hadoop/hadoop/bin/hadoop job  -kill job_1442286555409_0023
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2015-09-15 01:19:58,051 Stage-1 map = 0%,  reduce = 0%
2015-09-15 01:20:02,347 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.7 sec
MapReduce Total cumulative CPU time: 700 msec
Ended Job = job_1442286555409_0023
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1   Cumulative CPU: 0.7 sec   HDFS Read: 261 HDFS Write: 34 SUCCESS
Total MapReduce CPU Time Spent: 700 msec
OK
chengjihui
duanbin
luobao
gaojian
Time taken: 11.426 seconds, Fetched: 4 row(s)
-------------------------------------------------------------------------------------------------- hive> SELECT TRANSFORM(a.id,a.name) USING '/bin/awk "/cheng/ {print $2}"'  AS (name) FROM cjhtest a;
Query ID = hadoop_20150915012121_7577c0e6-965c-42a7-810b-cc032889bfd8 Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator Kill Command = /home/hadoop/hadoop/bin/hadoop job  -kill job_1442286555409_0024 Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0 2015-09-15 01:21:30,298 Stage-1 map = 0%,  reduce = 0% 2015-09-15 01:21:35,546 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.71 sec MapReduce Total cumulative CPU time: 710 msec Ended Job = job_1442286555409_0024 MapReduce Jobs Launched: Stage-Stage-1: Map: 1   Cumulative CPU: 0.71 sec   HDFS Read: 261 HDFS Write: 11 SUCCESS Total MapReduce CPU Time Spent: 710 msec OK chengjihui Time taken: 11.34 seconds, Fetched: 1 row(s)
------------------------------------------------------------------------------------
直接寫awk的命令，去掉/bin，也執行成功
hive> SELECT TRANSFORM(a.id,a.name) USING 'awk "/cheng/ {print $2}"'  AS (name) FROM cjhtest a;
Query ID = hadoop_20150915012323_4ae115f1-8501-4197-8627-bb2341826f16
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1442286555409_0025, Tracking URL = http://cjh1:8088/proxy/application_1442286555409_0025/
Kill Command = /home/hadoop/hadoop/bin/hadoop job  -kill job_1442286555409_0025
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2015-09-15 01:23:13,054 Stage-1 map = 0%,  reduce = 0%
2015-09-15 01:23:18,286 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.69 sec
MapReduce Total cumulative CPU time: 690 msec
Ended Job = job_1442286555409_0025
MapReduce Jobs Launched:
Stage-Stage-1: Map: 1   Cumulative CPU: 0.69 sec   HDFS Read: 261 HDFS Write: 11 SUCCESS
Total MapReduce CPU Time Spent: 690 msec
OK
chengjihui
Time taken: 11.452 seconds, Fetched: 1 row(s)
----------------------------------------------------------------------------------------------------- wc -l 命令： hive> SELECT TRANSFORM(a.id,a.name) USING 'wc -l'  AS (cc) FROM cjhtest a;
Query ID = hadoop_20150915012424_e214d72d-87a6-4762-92ac-0b86e58c149c Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since there's no reduce operator Kill Command = /home/hadoop/hadoop/bin/hadoop job  -kill job_1442286555409_0026 Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0 2015-09-15 01:24:59,995 Stage-1 map = 0%,  reduce = 0% 2015-09-15 01:25:05,256 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.85 sec MapReduce Total cumulative CPU time: 850 msec Ended Job = job_1442286555409_0026 MapReduce Jobs Launched: Stage-Stage-1: Map: 1   Cumulative CPU: 0.85 sec   HDFS Read: 261 HDFS Write: 2 SUCCESS Total MapReduce CPU Time Spent: 850 msec OK 4 Time taken: 11.486 seconds, Fetched: 1 row(s)
------------------------------------------------------------------------------------------------------------------

相關推薦

hive呼叫Linux的shell命令測試

hive>SELECT TRANSFORM(a.id,a.name) USING '/bin/cat -n'  AS (num,id,name) FROM cjhtest a; Query ID = hadoop_20150915011212_ab2c282c-85cc-4c23-9f3b-618b

通過python呼叫adb命令對app進行效能測試（6 -1）

上篇文章中講述了adb是什麼，以及常用的命令，下面我們來看下通過adb來檢視手機裝置中的效能引數，首先要檢視apk的包名和預設Activity的名字有好幾種方式，下面介紹2種 第一種 1 開啟cmd 切換目錄D:\tool\android-sdk_r24.

用命令測試安裝好的OpenStack環境

mvp npv min dlp agent xmu wo+ aam nlp OpenStack三個節點icehouse-gre模式部署一文部署了一套OpenStack環境，接下來使用命令測試一遍。 首先要明確幾個概念： 外網：可分配floating ip綁定到虛擬機，外部就

Hive文件壓縮測試

hadoop hive hive上可以使用多種格式，比如純文本，lzo、orc等，為了搞清楚它們之間的關系，特意做個測試。一、建立樣例表hive> create table tbl( id int, name string ) row format delimited fields termin

批量ping IP地址命令測試是否通

smi address ria 批量ping ont number grep style for 批量ping IP地址命令測試是否通 #!/bin/bash#-----------------------------------------------------

linux系統管理文件和目錄管理命令測試

linux 簡單 命令 1. 查看系統中cpu及內存的信息。[root@xuexi ~]# cat /proc/cpuinfo (查看cpu)processor : 0 vendor_id :GenuineIntelcpu family : 6model : 142mode

《Linux學習並不難》Linux網絡命令（3）：ping命令測試與目標計算機之間的連通性

Linux ping 測試 27.3 《Linux學習並不難》Linux網絡命令（3）：ping命令測試與目標計算機之間的連通性使用ping命令可以用來測試與目標計算機之間的連通性。執行ping命令會使用ICMP傳輸協議發出要求回應的信息，如果遠程主機的網絡功能沒有問題，就會回應該信息，因而得知

dd命令測試linux磁碟讀寫速度操作

1、先熟悉兩個特殊的裝置：     （1）/dev/null：回收站、無底洞。     （2）/dev/zero：產生字元。 2、測試磁碟寫能力     time dd if=/dev/zero of=/testw.dbf bs=4k

hive入門環境啟動測試實戰

首先啟動hadoop（存放hive表資料），spark可以不用啟動  /usr/local/hadoop/sbin/start-all.sh  /usr/local/spark/sbin/start-all.sh 啟動mysql（metastore存hive元資料）

Java 呼叫Linux 命令，並獲取命令執行結果

1.工具類 public class ExcuteLinux { public static String exeCmd(String commandStr) { String result = null; try { St

linux後臺永久啟動Kafka、Flume命令(測試通過）

命令如下： （配置好環境變數，普通使用者狀態下：“$”代表普通使用者，“#”代表root使用者） 1 後臺啟動Kafka: $ nohup kafka-server-start.sh /home/espai/kafka/config/server.properties 1>/dev

Qt|Linux工作筆記-非同步呼叫ping命令，重定向獲取資訊，介面顯示

邏輯： 1.使用QProcess在開執行緒前設定輸出檔案【setStandardOutputFile】; 2.開一個執行緒，去專門呼叫shell命令，比如ping； 3.Qt讀取重定向檔案，進行介面顯示；   程式執行截圖如下：   原始碼如

二、hive shell常用命令

在使用hive shell之前我們需要先安裝hive 請參考：https://www.cnblogs.com/lay2017/p/9973298.html hive shell 我們先進入安裝目錄 cd /usr/local/hadoop/hive/apache-hive-1.2.2-bin

java呼叫cmd命令實現各種操作

public static void main(String[] args) { /*獲取cmd命令*/ try { Process pro = Runtime.getRuntime().exec("cmd /c calc"); //新增要進行的命令，"cmd /c calc"中calc代表

pycharm呼叫shell命令

在pycharm中呼叫shell命令 1、 # -*- coding:UTF-8 -*- import subprocess subprocess.call(["ls /home"], shell=True) #subprocess.call(["cat /root/d.txt | grep hel

HIve常用CLI命令

1. 清楚螢幕：Ctrl+L 或者!Clear 最後加上分號 2. 檢視資料倉庫中的表：show tables; 3. 檢視資料倉庫中內建函式：show functions； 4. 查看錶結構 ：desc; 5. 檢視HDDFS上的檔案：dfs -ls 目錄; dfs -lsr /user; 遞迴檢視

java中呼叫shell命令

import java.io.BufferedReader; import java.io.InputStreamReader; public class Shell { public static void main(String[] args) { String command =

使用WebClient呼叫rest api測試

1.引言 Spring開發人員，您是否曾經覺得需要一個易於使用且高效的流暢功能樣式 API 的非同步/非阻塞 HTTP客戶端？ 如果是，那麼我歡迎您閱讀關於WebClient的文章，WebClient是Spring 5中引入的新的被動HTTP客戶端。 2.如何使用WebClient We

在Python中呼叫外部命令

怎麼在Python腳本里呼叫外部命令?(就好像直接輸入在Unix shell中或者windows的命令列裡) 來來來,我給你叨咕叨咕各種方法和各自優缺點: os.system("命令加引數")把命令和引數傳遞給你係統的shell中.用這個命令的好處在於你可以一次執行好多命

hive篇---【命令執行】

hive執行指令碼 hive -e “sql語句” 會將查詢的結果列印在控制檯上。 hive -e “sql語句” >> xxx 會將查詢的結果重定向到xxx檔案中，會顯示OK和抓取的資料條數 hive -S