HDFS Java 客戶端開發(開發環境:Windows)
HDFS是一個分散式檔案系統,既然是檔案系統,就可以對其中的檔案進行操作,比如說新建資料夾、上傳檔案,重新命名檔案,下載檔案,刪除檔案、列舉所有檔案等操作。
HDFSClient.java
package com.looc.client;
import java.io.FileNotFoundException;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Before;
import org.junit.Test;
public class HDFSClient {
private FileSystem fileSystem = null;
@Before
public void getFileSystem() throws IOException {
// 配置引數的封裝物件
// 建構函式對xxx-site.xml檔案進行解析,真實專案中需要將xxx-site.xml檔案載入到工程中。
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://looc:9000");
// 獲取檔案系統的客戶端例項物件,根據configuration中的相關引數決定。
fileSystem = FileSystem.get(configuration);
}
/**
* 建立資料夾
*
* @throws IllegalArgumentException
* @throws IOException
*/
@Test
public void testMkdir() throws IllegalArgumentException, IOException {
fileSystem.mkdirs(new Path("/a/b/c"));
}
/**
* 上傳檔案
*
* @throws IllegalArgumentException
* @throws IOException
*/
@Test
public void testUpload() throws IllegalArgumentException, IOException {
fileSystem.copyFromLocalFile(new Path("E:\\MapReduce\\WordCount.txt"), new Path("/a/b/c"));
}
/**
* 重新命名檔案
*
* @throws IllegalArgumentException
* @throws IOException
*/
@Test
public void testRename() throws IllegalArgumentException, IOException {
fileSystem.rename(new Path("/a/b/c/WordCount.txt"), new Path("/a/b/c/WordCount.txt.rename"));
}
/**
* 下載檔案
*
* @throws IllegalArgumentException
* @throws IOException
*/
@Test
public void testDownload() throws IllegalArgumentException, IOException {
fileSystem.copyToLocalFile(new Path("/a/b/c/WordCount.txt.rename"), new Path("E:\\MapReduce"));
}
/**
* 刪除檔案
*
* @throws IllegalArgumentException
* @throws IOException
*/
@Test
public void testRmfile() throws IllegalArgumentException, IOException {
boolean result = fileSystem.delete(new Path("/a/b/c/WordCount.txt.rename"), true);
System.out.println(result ? "DELETE IS SUCCESSFULLY!" : "DELETE IS FAILD!");
}
/**
* 列舉所有檔案
*
* @throws FileNotFoundException
* @throws IllegalArgumentException
* @throws IOException
*/
@Test
public void testListFile() throws FileNotFoundException, IllegalArgumentException, IOException {
RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(new Path("/"), true);
while (listFiles.hasNext()) {
System.out.println(listFiles.next().getPath().getName());
}
}
}
Over
相關推薦
HDFS Java 客戶端開發(開發環境:Windows)
HDFS是一個分散式檔案系統,既然是檔案系統,就可以對其中的檔案進行操作,比如說新建資料夾、上傳檔案,重新命名檔案,下載檔案,刪除檔案、列舉所有檔案等操作。 HDFSClient.java package com.looc.client; import
HDFS Java 客戶端使用(Windows開發環境)
1.加入依賴 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId>
大資料教程(7.4)HDFS的java客戶端API(流處理方式)
博主上一篇部落格分享了namenode和datanode的工作原理,本章節將繼前面的HDFS的java客戶端簡單API後深度講述HDFS流處理API。 &nb
HDFS的JAVA客戶端編寫(JAVA程式碼實現對HDFS的操作)
原始碼如下: package com.sfd.hdfs; import java.io.FileInputStream; import java.io.IOException; import org.apache.commons.compress.ut
swagger-codegen生成java客戶端程式碼(其他語言類似)
<dependency> <groupId>io.swagger</groupId> <artifactId>swagger-jaxrs</artifactId> <version>1.5.9</version>
winserver的consul部署實踐與.net core客戶端使用(附demo源碼)
指令 his on() client模式 mvc lan -s enc .com 前言 隨著微服務興起,服務的管理顯得極其重要。都知道微服務就是”拆“,把臃腫的單塊應用,拆分成多個輕量級的服務,每個服務可以在短周期內重構、叠代、交付。隨著微服務的數
javascript:判斷瀏覽器型別和客戶端作業系統 (2009-06-02更新)
//檢測客戶端環境 function ClientMentInfo() { var me = this; var appVer = navigator.userAgent; this.GetBrowserName = function (){ if(appV
表單提交的客戶端驗證(通過js函式驗證)
<%@ page language="java" import="java.util.*" pageEncoding="GB18030"%> <% String path = request.getContextPath(); String basePat
企業級搜尋應用伺服器Solr4.10.4部署開發詳解(3)- Solr使用-使用java客戶端solrj進行增刪改查開發
(一)使用java客戶端solrj進行增刪改查開發 前兩章講的是如何搭建部署Solr環境和使用Solr建立資料集合進行儲存查詢,下面我們需要更進一步,直接使用客戶端API進行開發,直接操作資料集合,進行增刪改查。 1. 加入客戶端API的jar包 使用客戶端
大資料入門(6)hdfs的客戶端java
從hdfs中copy 檔案到當前虛擬機器 1、匯入jar E:\lib\hadoop-2.4.1\share\hadoop\hdfs E:\lib\hadoop-2.4.1\share\hadoop\co
Android和IOS移動客戶端原生APP開發工程師(外包)
如題。 由於公司現有人員配備不足,因專案擱淺,現急需移動客戶端前端開發工程師,與專案經理(後端工程師)對接,共同開發商城APP專案。 專案要求: 1、熟悉Android系統的客戶端開發及運用,能獨立完成專案的前端技術開發(後端介面由公司提供);
大資料入門(六)hdfs的客戶端java
從hdfs中copy 檔案到當前虛擬機器 1、匯入jar E:\lib\hadoop-2.4.1\share\hadoop\hdfs E:\lib\hadoop-2.4.1\shar
Thrift下Java客戶端與伺服器端的開發
1建立Thrift檔案 Thrift檔案與程式語言無關,用於定義資料型別和服務介面,然後生成用來構建RPC客戶和伺服器所需的全部程式碼。 1.1編寫testJava.thrift [html] view plain copy print? #!/usr
一臉懵逼學習hadoop之HDFS的java客戶端編寫
txt 維護 刪除文件 trac 實例 for nod delete reat 1:eclipse創建一個項目,然後導入對應的jar包: 鼠標右擊項目,點擊properties或者alt+enter快捷鍵--->java build path--->libra
SpringBoot系列四:SpringBoot開發(改變環境屬性、讀取資源文件、Bean 配置、模版渲染、profile 配置)
pat row 開發 ima set his 改變 端口配置 import 1、概念 SpringBoot 開發深入 2、具體內容 在之前已經基本上了解了整個 SpringBoot 運行機制,但是也需要清楚的認識到以下的問題,在實際的項目開發之中,尤其是 Java
同一個hdfs客戶端 切換不同叢集環境
是通過兩個配置檔案來切換到不同叢集環境的, hdfs-site.xml和core-site.xml 現在我建立兩個目錄: ~/dev/hadoop 開發環境目錄 ~/prod/hadoop 產品環境目錄 好了,現在我把開發環境叢集的core-site.xml和h
大資料入門(8)hdfs的客戶端檔案操作
package com.hadoop.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; im
Java與WCF互動(一 Java客戶端呼叫WCF服務
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!  
hdfs客戶端例項(kerberos+simple)
1.非安全模式 在非安全模式下,訪問hdfs檔案系統的客戶端程式碼如下: package ntci.hadoop.hdfs.test; import org.apache.hadoop.classification.InterfaceAudience; import org.apache.h
Redis的java客戶端Jedis Client介紹(持續翻譯中)
1. 概覽 This article is an introduction to Jedis, a client library in Java for Redis – the popular in-memory data structure store that can persis