1. 程式人生 > >HDFS Java 客戶端開發(開發環境:Windows)

HDFS Java 客戶端開發(開發環境:Windows)

HDFS是一個分散式檔案系統,既然是檔案系統,就可以對其中的檔案進行操作,比如說新建資料夾、上傳檔案,重新命名檔案,下載檔案,刪除檔案、列舉所有檔案等操作。

HDFSClient.java

package com.looc.client;

import java.io.FileNotFoundException;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import
org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.RemoteIterator; import org.junit.Before; import org.junit.Test; public class HDFSClient { private FileSystem fileSystem = null; @Before public void getFileSystem() throws IOException { // 配置引數的封裝物件 // 建構函式對xxx-site.xml檔案進行解析,真實專案中需要將xxx-site.xml檔案載入到工程中。
Configuration configuration = new Configuration(); configuration.set("fs.defaultFS", "hdfs://looc:9000"); // 獲取檔案系統的客戶端例項物件,根據configuration中的相關引數決定。 fileSystem = FileSystem.get(configuration); } /** * 建立資料夾 * * @throws IllegalArgumentException * @throws
IOException */
@Test public void testMkdir() throws IllegalArgumentException, IOException { fileSystem.mkdirs(new Path("/a/b/c")); } /** * 上傳檔案 * * @throws IllegalArgumentException * @throws IOException */ @Test public void testUpload() throws IllegalArgumentException, IOException { fileSystem.copyFromLocalFile(new Path("E:\\MapReduce\\WordCount.txt"), new Path("/a/b/c")); } /** * 重新命名檔案 * * @throws IllegalArgumentException * @throws IOException */ @Test public void testRename() throws IllegalArgumentException, IOException { fileSystem.rename(new Path("/a/b/c/WordCount.txt"), new Path("/a/b/c/WordCount.txt.rename")); } /** * 下載檔案 * * @throws IllegalArgumentException * @throws IOException */ @Test public void testDownload() throws IllegalArgumentException, IOException { fileSystem.copyToLocalFile(new Path("/a/b/c/WordCount.txt.rename"), new Path("E:\\MapReduce")); } /** * 刪除檔案 * * @throws IllegalArgumentException * @throws IOException */ @Test public void testRmfile() throws IllegalArgumentException, IOException { boolean result = fileSystem.delete(new Path("/a/b/c/WordCount.txt.rename"), true); System.out.println(result ? "DELETE IS SUCCESSFULLY!" : "DELETE IS FAILD!"); } /** * 列舉所有檔案 * * @throws FileNotFoundException * @throws IllegalArgumentException * @throws IOException */ @Test public void testListFile() throws FileNotFoundException, IllegalArgumentException, IOException { RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(new Path("/"), true); while (listFiles.hasNext()) { System.out.println(listFiles.next().getPath().getName()); } } }

Over

相關推薦

HDFS Java 客戶開發開發環境Windows

HDFS是一個分散式檔案系統,既然是檔案系統,就可以對其中的檔案進行操作,比如說新建資料夾、上傳檔案,重新命名檔案,下載檔案,刪除檔案、列舉所有檔案等操作。 HDFSClient.java package com.looc.client; import

HDFS Java 客戶使用(Windows開發環境)

1.加入依賴 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId>

大資料教程7.4HDFSjava客戶API流處理方式

        博主上一篇部落格分享了namenode和datanode的工作原理,本章節將繼前面的HDFS的java客戶端簡單API後深度講述HDFS流處理API。       &nb

HDFSJAVA客戶編寫JAVA程式碼實現對HDFS的操作

原始碼如下: package com.sfd.hdfs; import java.io.FileInputStream; import java.io.IOException; import org.apache.commons.compress.ut

swagger-codegen生成java客戶程式碼其他語言類似

<dependency>   <groupId>io.swagger</groupId>   <artifactId>swagger-jaxrs</artifactId>   <version>1.5.9</version>

winserver的consul部署實踐與.net core客戶使用附demo源碼

指令 his on() client模式 mvc lan -s enc .com 前言 隨著微服務興起,服務的管理顯得極其重要。都知道微服務就是”拆“,把臃腫的單塊應用,拆分成多個輕量級的服務,每個服務可以在短周期內重構、叠代、交付。隨著微服務的數

javascript:判斷瀏覽器型別和客戶作業系統 2009-06-02更新

 //檢測客戶端環境 function ClientMentInfo() { var me = this; var appVer = navigator.userAgent; this.GetBrowserName = function (){ if(appV

表單提交的客戶驗證通過js函式驗證

<%@ page language="java" import="java.util.*" pageEncoding="GB18030"%> <% String path = request.getContextPath(); String basePat

企業級搜尋應用伺服器Solr4.10.4部署開發詳解3- Solr使用-使用java客戶solrj進行增刪改查開發

(一)使用java客戶端solrj進行增刪改查開發         前兩章講的是如何搭建部署Solr環境和使用Solr建立資料集合進行儲存查詢,下面我們需要更進一步,直接使用客戶端API進行開發,直接操作資料集合,進行增刪改查。 1. 加入客戶端API的jar包 使用客戶端

大資料入門6hdfs客戶java

從hdfs中copy 檔案到當前虛擬機器 1、匯入jar      E:\lib\hadoop-2.4.1\share\hadoop\hdfs     E:\lib\hadoop-2.4.1\share\hadoop\co

Android和IOS移動客戶原生APP開發工程師外包

如題。 由於公司現有人員配備不足,因專案擱淺,現急需移動客戶端前端開發工程師,與專案經理(後端工程師)對接,共同開發商城APP專案。 專案要求: 1、熟悉Android系統的客戶端開發及運用,能獨立完成專案的前端技術開發(後端介面由公司提供);

大資料入門hdfs客戶java

從hdfs中copy 檔案到當前虛擬機器 1、匯入jar      E:\lib\hadoop-2.4.1\share\hadoop\hdfs     E:\lib\hadoop-2.4.1\shar

Thrift下Java客戶與伺服器開發

1建立Thrift檔案 Thrift檔案與程式語言無關,用於定義資料型別和服務介面,然後生成用來構建RPC客戶和伺服器所需的全部程式碼。 1.1編寫testJava.thrift [html] view plain copy  print? #!/usr

一臉懵逼學習hadoop之HDFSjava客戶編寫

txt 維護 刪除文件 trac 實例 for nod delete reat 1:eclipse創建一個項目,然後導入對應的jar包: 鼠標右擊項目,點擊properties或者alt+enter快捷鍵--->java build path--->libra

SpringBoot系列四SpringBoot開發改變環境屬性、讀取資源文件、Bean 配置、模版渲染、profile 配置

pat row 開發 ima set his 改變 端口配置 import 1、概念 SpringBoot 開發深入 2、具體內容 在之前已經基本上了解了整個 SpringBoot 運行機制,但是也需要清楚的認識到以下的問題,在實際的項目開發之中,尤其是 Java

同一個hdfs客戶 切換不同叢集環境

是通過兩個配置檔案來切換到不同叢集環境的, hdfs-site.xml和core-site.xml   現在我建立兩個目錄: ~/dev/hadoop 開發環境目錄 ~/prod/hadoop 產品環境目錄 好了,現在我把開發環境叢集的core-site.xml和h

大資料入門8hdfs客戶檔案操作

package com.hadoop.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.net.URI; im

Java與WCF互動Java客戶呼叫WCF服務

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

hdfs客戶例項kerberos+simple

1.非安全模式 在非安全模式下,訪問hdfs檔案系統的客戶端程式碼如下: package ntci.hadoop.hdfs.test; import org.apache.hadoop.classification.InterfaceAudience; import org.apache.h

Redis的java客戶Jedis Client介紹持續翻譯中

1. 概覽 This article is an introduction to Jedis, a client library in Java for Redis – the popular in-memory data structure store that can persis