hadoop hive hbase flume sqoop基本操作
阿新 • • 發佈：2022-05-21
top
裡的id為cpu空閒度
如果wa為99.8就是負擔太重。得停掉一些任務
cat /proc/cpuinfo
檢視cpu資訊
cat /proc/meminfo
檢視記憶體資訊
hadoop基礎操作
start-all.sh
切換到hadoop使用者啟動hadoop
三個節點啟動zkserver
cd /usr/local/src/hadoop
zkServer.sh start
(master jps)
8534 SecondaryNameNode
9659 Jps
8334 NameNode
8703 ResourceManager
8975 QuorumPeerMain
檢視從屬節點
bin/hdfs dfsadmin -report
檢視hdfs空間使用情況
hdfs dfs -df /
HBase
進入目錄檢視版本
cd /usr/local/src/hbase/
hbase version
啟動hbase
start-hbase.sh
進入hbase shell 介面
hbase shell
hadoop
需要離開安全模式
hdfs dfsadmin -safemode leave
檢視版本以及狀態
hbase(main):001:0> version 1.2.1, r8d8a7107dc4ccbf36a92f64675dc60392f85c015, Wed Mar 30 11:19:21 CDT 2016 hbase(main):002:0> state NameError: undefined local variable or method `state' for #<Object:0x78d71df1>
簡單查詢HBase狀態
status 'simple'
查詢更多關於 HBase 狀態，執行命令
help 'status'
停止hbase
stop-hbase.sh
進入目錄執行hive
cd /usr/local/src/hive
hive
hive
檢視資料庫
show databases;
檢視庫裡的所有表
use default
show tables;
建立表
create table stu(id int,name string);
資訊插入表
insert into stu values (1001,'zhangsan');
顯示錶
show tables;
查看錶結構
desc stu;
查看錶資訊
hive> select * from stu;
OK
1001 zhangsan
檢視本地檔案系統
hive> !ls /usr/local/src;
file:
flume
fox.java
hadoop
hbase
hive
jdk
sqoop
student.java
zookeeper
檢視hdfs內容
hive> dfs -ls /;
Found 6 items
drwxr-xr-x - hadoop supergroup 0 2022-05-20 16:12 /hbase
drwxr-xr-x - hadoop supergroup 0 2022-04-25 19:20 /input
drwxr-xr-x - hadoop supergroup 0 2022-04-25 19:20 /output
drwxr-xr-x - hadoop supergroup 0 2022-04-25 19:26 /outputp
drwxrwxrwx - hadoop supergroup 0 2022-05-06 15:14 /tmp
drwxr-xr-x - hadoop supergroup 0 2022-04-29 17:05 /user
hive>
檢視歷史命令
cd /home/hadoop/
cat .hivehistory
監控大資料平臺狀態
檢視zookeeper狀態
[hadoop@master ~]$ zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[hadoop@master ~]$
檢視執行程序
jps
輸入命令zkCli.sh 連線到zookeeper服務
zkCli.sh
開啟監控
get /hbase 1
[zk: localhost:2181(CONNECTED) 3] set /hbase value-update
cZxid = 0x700000002
ctime = Tue Apr 26 20:11:10 CST 2022
mZxid = 0xb0000005b
mtime = Fri May 20 16:46:52 CST 2022
pZxid = 0xb00000053
cversion = 22
dataVersion = 3
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 12
numChildren = 14
[zk: localhost:2181(CONNECTED) 4]
資料版本變更 /hbase處於監控中
檢視sqoop版本
cd /usr/local/src/sqoop
./bin/sqoop-version
Warning: /usr/local/src/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/src/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
22/05/20 16:48:44 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017
[hadoop@master sqoop]$
檢查sqoop是否能夠連線資料庫
bin/sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password Huawei123$
檢視幫助
sqoop help
檢視flume版本
cd /usr/local/src/flume
flume-ng version
編寫配置檔案
vim /usr/local/src/flume/example.conf
[hadoop@master flume]$ vim /usr/local/src/flume/example.conf
# 在檔案中寫入以下內容
# a1 是 agent 名，r1,k1,c1 是 a1 的三個元件
a1.sources=r1
a1.sinks=k1
a1.channels=c1
# 設定 r1 原始檔的型別、路徑和檔案頭屬性
a1.sources.r1.type=spooldir
a1.sources.r1.spoolDir=/usr/local/src/flume/
a1.sources.r1.fileHeader=true
# 設定 k1 目標儲存器屬性
a1.sinks.k1.type=hdfs # 目標儲存器型別 hdfs
a1.sinks.k1.hdfs.path=hdfs://master:9000/flume # 目標儲存位置
a1.sinks.k1.hdfs.rollsize=1048760 #臨時檔案達 1048760 bytes 時，滾動形
成目標檔案
a1.sinks.k1.hdfs.rollCount=0 #0 表示不根據 events 數量來滾動形成目標檔案
a1.sinks.k1.hdfs.rollInterval=900 # 間隔 900 秒將臨時檔案滾動形成目標文
件
a1.sinks.k1.hdfs.useLocalTimeStamp=true # 使用本地時間戳
# 設定 c1 暫存容器屬性
a1.channels.c1.type=file # 使用檔案作為暫存容器
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
# 使用 c1 作為源和目標資料的傳輸通道
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
連線flume
/usr/local/src/flume/bin/flume-ng agent --
conf ./conf --conf-file ./example.conf --name a1 -
Dflume.root.logger=INFO,console
檢視是否成功
hdfs dfs -lsr /flume