HDFS基礎1:HDFS的常用命令
前言
HDFS系統中不能使用touch命令來建立普通檔案。
1 檔案操作
(1)列出HDFS下的檔案
(2)刪除HDFS下的檔案或目錄
hdfs dfs -rm -r /[檔案或目錄]
(3)檢視HDFS下檔案的內容
hdfs dfs -cat /[目錄]/檔名
(4)統計HDFS某目錄下檔案的數量
hdfs dfs -count /[目錄]
獲得3個檔案。
(5)建立目錄
hdfs dfs -mkdir /[目錄]/[要建立的目錄]
(6)檢視目錄下檔案的總大小
hdfs dfs -du -s -h /目錄
第一列標示該目錄下總檔案大小。
第二列標示該目錄下所有檔案在叢集上的總儲存大小和你的副本數相關,我的副本數是3 ,所以第二列的是第一列的三倍 (第二列內容=檔案大小*副本數)。
第三列標示你查詢的目錄。
相關推薦
HDFS基礎1:HDFS的常用命令
前言 HDFS系統中不能使用touch命令來建立普通檔案。 1 檔案操作 (1)列出HDFS下的檔案 (2)刪除HDFS下的檔案或目錄 hdfs dfs -rm -r /[檔案或目錄] (3)檢視HDFS下檔案的內容 hdfs dfs -c
大資料求索(1):HDFS安裝指南
大資料求索(1):HDFS安裝指南 背景 HDFS是分散式檔案系統,是Hadoop的基礎,本章主要介紹如何安裝HDFS。 環境引數 centos 6.5 hadoop2.6.0-cdh5.7.0 jdk8 偽分散式安裝 一、JDK安裝
linux、hdfs、hive、hbase常用命令
linux常用命令 pwd 檢視當前工作目錄的絕對路徑 cat input.txt 檢視input.txt檔案的內容 ls 顯示當前目錄下所有的檔案及子目錄 rm recommender-dm-1.0-SNAPSHOT-lib.jar 刪除當前目錄下recommender-dm-1.0-SNAPSHO
數據庫基礎(1):數據定義
rop 數據庫基礎 class red 教師 clas 教師表 屬性 sna 1.實驗內容 1) 用Management Studio創建數據庫University_Mis 2) 使用SQL語句創建關系數據庫基本表: 學生表Students(Sno,Snam
初學者:Git常用命令總結
list 解決 狀態 出現 git merge tag git show epo rep git init 在本地新建一個repo,進入一個項目目錄,執行git init,會初始化一個repo,並在當前文件夾下創建一個.git文件夾. git clone
碼海拾遺:Linux常用命令(一)
spa /usr 使用 virtual 復制文件 壓縮包 文件中 常用 目錄 一、Linux系統安裝 系統安裝可以分兩類:實體機安裝Linux,虛擬機(常用虛擬機軟件有兩種:VMware和VirtualBox)安裝Linux。 安裝過程網上有很多教程,這裏就不贅
openstack學習心得:keystone 常用命令(M版)
face pan sig rom 用戶 目錄 change 創建 email 查看用戶列表 openstack user list 查看用戶具體信息 usage: openstack user show [-h] [-f
Linux:Linux 常用命令講解
安裝軟件 ima 本地 臨時 查看系統 解壓 arch 16px 表示 一、Linux 常用命令 所有的命令操作都是在服務器上進行的: 1)分類 軟件操作命令:軟件的安裝、卸載; 服務器硬件資源和磁盤操作:有幾個 CPU、內存有多大等; 文件和文件夾操作命令:新建、
Linux學習筆記三:Linux常用命令
1.目錄處理命令ls ls -a顯示所有檔案,包括隱藏檔案 -l詳細資訊顯示 -lh以人性化方式顯示 列出來的資料的顯示形式:許可權 別調用次數 檔案所
Java基礎1:面向物件四大特性
面向物件四大特性 抽象(有時候會省略) 封裝 繼承 多型 抽象 將一類物件的共同特徵提取出來構建的類。包括資料抽象和行為抽 象。抽象只關注物件有哪些行為和屬性,而不關注具體的細節。 封裝 利用抽象資料型別將物件的屬性和對屬性的操作封裝起來,
SpringCloud微服務基礎1:Eureka註冊中心
1.Eureka基本概念 Spring Cloud Eureka是Spring Cloud Netflix專案下的服務治理模組。而Spring Cloud Netflix專案是Spring Cloud的子專案之一,主要內容是對Netflix公司一系列開源產品
SPSS基礎教程:SPSS選單命令詳解
2016年05月16日 14:09:50 數控小J 閱讀數:653 版權宣告:本文為博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/chenjunji123456/article/details/51424674 Tra
ceph: 1、ceph常用命令
ceph中常用命令總結 1 ceph中資料檢視 rados -p metrics ls | grep gnocc rados -p metrics get gn
git實操筆錄二:Git常用命令
git作為最常見的分散式版本管理工具,掌握其常用的命令,可以讓你用得更順暢。以下是本人通過查閱官網以及其他大佬的文章,熬夜整理出來的。大家可以收藏起來,方便查閱 一、新建程式碼庫 #在當前目錄新建一個git程式碼庫 git init #新建一個目錄,將其初始化為git程式碼
機器學習 Python基礎1 Pandas DataFrame 常用方法速查手冊中文版
本文轉載自知乎文章 Pandas速查手冊中文版 ,原英文版 Pandas Cheat Sheet - Python for Data Science,在這基礎上加入了一些自己的理解。 Pandas 速查手冊 匯入資料 匯出資料 建立測試物件 檢視、
【圖文詳細 】HDFS面試題:hdfs裡的 edits和 fsimage作用
1)、fsimage檔案其實是Hadoop檔案系統元資料的一個永久性的檢查點,其中包含Hadoop檔案系統中的所有目錄和檔案idnode的序列化資訊; 2)、edits檔案存放的是Hadoop檔案系統的所有更新操作的路徑,檔案系統客戶端執行的所以寫操作首先會被記錄到edits檔案中。
【圖文詳細 】HDFS面試題:hdfs 的資料壓縮演算法?
(1) Gzip 壓縮 優點:壓縮率比較高,而且壓縮/解壓速度也比較快; hadoop 本身支援,在應用中處理gzip 格式的檔案就和直接處理文字一樣;大部分 linux 系統都自帶 gzip 命令,使用方便. 缺點:不支援 split。 應用場景: 當每個檔案壓縮之後在 130M
【圖文詳細 】HDFS面試題:hdfs的回收站(防止誤刪)
預設是關閉的,需要手動開啟,修改配置 core-site.xml 新增:
HBase(1):shell基本命令
一.功能實現 使用shell基本命令,進行hbase資料庫操作 二.環境準備 1.開啟hdfs 2.開啟zk 3.開啟regionser和master 三.基本Hbase操作 1.hbase namespace (1)建立namespace create_name
ArcGIS Engine 開發學習-------基礎(一):自定義命令
要求:在ToolbarControl中新增一個自定義命令,點選可清除當前活動工具。 步驟: 1、建立GIS類,選擇Base Command模版,Extending ArcObjects,ArcMap MapControl or PageLayo