使用Eclipse來操作HDFS的檔案
一.常用類
1.Configuration
Hadoop配置檔案的管理類,該類的物件封裝了客戶端或者伺服器的配置(配置叢集時,所有的xml檔案根節點都是configuration)
建立一個Configuration物件時,其構造方法會預設載入hadoop中的兩個配置檔案,分別是hdfs-site.xml以及core-site.xml,這兩個檔案中會有訪問hdfs所需的引數值,主要是fs.default.name,指定了hdfs的地址,有了這個地址客戶端就可以通過這個地址訪問hdfs了。即可理解為configuration就是hadoop中的配置資訊。
2.FileSystem
該類的物件是一個檔案系統物件,對HDFS中的檔案進行的一系列操作,如建立等
3.FileStatus
獲取檔案或者資料夾的元資訊!比如:檔案路徑,檔案大小,檔案所有者,所在的塊大小,檔案修改時間,備份數量,許可權等!
4.FSDataInputStream
輸入流物件!可以將HDFS中的檔案或者資料夾讀取到本地!
5.FSDataOutputStream
輸出流物件! 可以將本地的檔案或者資料夾上傳到HDFS中!
相關推薦
使用Eclipse來操作HDFS的檔案
一.常用類 1.Configuration Hadoop配置檔案的管理類,該類的物件封裝了客戶端或者伺服器的配置(配置叢集時,所有的xml檔案根節點都是configuration) 建立一個Configuration物件時,其構造方法會預設載入hadoop中的兩個配置檔案,分別是hdfs-site.
分散式系統詳解--框架(Hadoop--JAVA操作HDFS檔案)
分散式系統詳解--框架(Hadoop--JAVA操作HDFS檔案) 前面的文章介紹了怎麼將整個集群系統搭建起來,並進行了有效的測試。為了解決登入一臺伺服器登入其他伺服器需要多次輸入密碼的
java操作hdfs檔案、資料夾
工具類HdfsUtils.java,及測試用例程式碼如下: HdfsUtils.java package com.xy6.demo.utils; import java.io.ByteArrayIn
使用eclipse檢視操作HDFS的操作流程
前提: HDFS已經配置好,並且可用; 若沒有搭建好HDFS可以參考我的上兩篇部落格: HDFS完全分散式搭建過程 HDFS高可用性的完全分散式搭建過程 推薦使用mars版本的ecl
Linux命令操作HDFS檔案系統
HDFS命令操作 # 格式化操作 $ bin/hdfs namenode -format # 展示檔案和資料夾列表 $ bin/hdfs dfs -ls / # 建立資料夾 # 在使用者目錄下建立 $ bin/hdfs dfs -mkdir AAA/ # 在根目錄下建立 $ bi
Win10本地java程式碼Hadoop操作HDFS檔案報錯
解決Wrong FS: hdfs://192.168.1.37:8020/user/tgm, expected: file:/// 新增conf配置 Configuration conf = new Configuration(); conf.set("mapred
Hadoop學習筆記一(通過Java API 操作HDFS,檔案上傳、下載)
package demo.hdfs; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; impor
java API 操作HDFS檔案系統
1.Maven 構建java工程 2.新增HDFS相關依賴 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
FS Shell命令與JAVA實現操作HDFS檔案
HDFS Shell命令 建立目錄 shell>hadoop fs –mkdir /user 列表 shell>hadoop fs –ls / 檢視檔案內容 shell>hadoop fs –cat /input/file
使用python的hdfs包操作分散式檔案系統(HDFS)
===================================================================================== 寫在前邊的話: 之前做的Hadoop叢集,組合
springboot上傳下載檔案(3)--java api 操作HDFS叢集+叢集配置
只有光頭才能變強! 前一篇文章講了nginx+ftp搭建獨立的檔案伺服器 但這個伺服器宕機了怎麼辦? 我們用hdfs分散式檔案系統來解決這個問題(同時也為hadoop系列開個頭) 目錄 1、Ubuntu14.04下配置Hadoop(2.8.5)叢集環境詳解(完全分
HDFS檔案讀寫操作 (通俗易懂)
首先來介紹兩個概念 ▪NameNode:領導級別。管 NameNode:領導級別。管理資料塊對映;處理客戶端的讀寫請求;配置副本策略;管理HDFS的名稱空間; DataNode:員工級別。負責儲存客戶端發來的資料塊block;執行資料塊的讀寫操作。 理資料 寫詳細步驟: 1、首先
JavaI/O:簡單的使用Reader和Writer來操作檔案
Writer類與Reader類是以字元流傳輸資料,一個字元是兩個位元組 字元流除了是以字元方式(兩個位元組)傳輸資料外,另外一點與位元組流不同的是字元流使用緩衝區,通過緩衝區再對檔案進行操作。位元組流位元組對檔案進行操作。使用字元流類時關閉字元流會強制將字元流緩衝區的類容輸出,如果不想關閉也將字元流進行輸出
常用HDFS檔案操作命令
檢視目錄下的檔案資訊 hadoop fs -ls / 檢視根目錄下檔案與資料夾 hadoop fs -lsr / 遞迴檢視根目錄下所有檔案與資料夾 hadoop fs -ls 預設檢視hdfs下的/user/<當前使用者> 例如:/user/ro
Eclipse操作HDFS高可用叢集
Eclipse操作HDFS高可用叢集 關於對叢集的操作,不希望通過程式碼,更希望可以通過視覺化介面進行叢集的操作,下面的我們進行,通過eclipse對HDFS高可用叢集的操作。 配置hadoop的外掛 首先需要在本機的eclipse上配置 Hadoop-eclipse-plugi
學習筆記:從0開始學習大資料-5.hadoop hdfs檔案讀寫api操作
學習測試,網上下的程式碼,測試通過,助於理解讀寫程式流程 package com.linbin.testmaven; import java.net.URI; import java.text.SimpleDateFormat; import java.util.Date; import or
eclipse上對hdfs的基礎操作
連線 Configuration conf = new Configuration(); // 設定使用者,告訴要用的使用者是誰 System.setProperty("HADOOP_USER_NAME", "hadoop"); // 設定要使用的檔案系統是
eclipse操作HDFS叢集API
eclipse操作HDFS叢集 windows下配置環境 1.配置HADOOP_HOME 2.配置HADOOP_USER_NAME 3.修改Path 修改eclipse配置 1.新增外掛 啟動e
HDFS檔案系統的基本操作
從本地系統複製一個檔案到HDFS hadoop fs -copyFromLocal input/text.txt \ hdfs://localhost/user/saikikky/text.txt 上述命令可以將本地的text.txt檔案複製到執行在localhost上的HDFS例項中,且上
叢集HDFS檔案操作(客戶端開發java)
叢集HDFS檔案操作(客戶端開.發java) 1 環境 1.1 ==win10專業版下編譯過的hadoop jar包== 1.2 配置HADOOP_HOME環境變數 1.3 配置Path環境變數 2.測試程式