2. 程式人生 > >Hadoop實戰專案：小檔案合併

Hadoop實戰專案：小檔案合併

阿新 • • 發佈：2019-01-09
public class MergeSmallFilesToHDFS { private static FileSystem hdfs = null; //定義HDFS上的檔案系統物件 private static FileSystem local = null; //定義本地檔案系統物件 /** * * @function 過濾 regex 格式的檔案 * */ public static class RegexExcludePathFilter implements PathFilter {
private final String regex; public RegexExcludePathFilter(String regex) { // TODO Auto-generated constructor stub this.regex = regex; } @Override public boolean accept(Path path) { // TODO Auto-generated method stub boolean flag = path.toString().matches(regex);
return !flag; } } /** * * @function 接受 regex 格式的檔案 * */ public static class RegexAcceptPathFilter implements PathFilter { private final String regex; public RegexAcceptPathFilter(String regex) { // TODO Auto-generated constructor stub
this.regex = regex; } @Override public boolean accept(Path path) { // TODO Auto-generated method stub boolean flag = path.toString().matches(regex); return flag; } } /** * @param args * @throws IOException * @throws URISyntaxException */ public static void main(String[] args) throws URISyntaxException, IOException { // TODO Auto-generated method stub list(); } private static void list() throws URISyntaxException, IOException { // TODO Auto-generated method stub Configuration conf = new Configuration();//讀取Hadoop配置檔案 //設定檔案系統訪問介面，並建立FileSystem在本地的執行模式 URI uri = new URI("hdfs://Centpy:9000"); hdfs = FileSystem.get(uri, conf); local = FileSystem.getLocal(conf);//獲取本地檔案系統 //過濾目錄下的svn檔案 FileStatus[] dirstatus = local.globStatus(new Path("D://Code/EclipseCode/mergeSmallFilesTestData/*"), new RegexExcludePathFilter("^.*svn$")); //獲取D:\Code\EclipseCode\mergeSmallFilesTestData目錄下的所有檔案路徑 Path[] dirs = FileUtil.stat2Paths(dirstatus); FSDataOutputStream out = null; FSDataInputStream in = null; for(Path dir:dirs) {//比如拿2018-03-23為例 //將資料夾名稱2018-03-23的-去掉，直接，得到20180323資料夾名稱 String fileName = dir.getName().replace("-", "");//檔名稱 //只接受2018-03-23日期目錄下的.txt檔案 FileStatus[] localStatus = local.globStatus(new Path(dir + "/*"), new RegexAcceptPathFilter("^.*txt$")); // 獲得2018-03-23日期目錄下的所有檔案 Path[] listPath = FileUtil.stat2Paths(localStatus); // 輸出路徑 Path outBlock = new Path("hdfs://Centpy:9000/mergeSmallFiles/result/"+ fileName + ".txt"); System.out.println("合併後的檔名稱："+fileName+".txt"); // 開啟輸出流 out = hdfs.create(outBlock); //迴圈操作2018-03-23日期目錄下的所有檔案 for(Path p:listPath) { in = local.open(p);// 開啟輸入流 IOUtils.copyBytes(in, out, 4096, false);// 複製資料 in.close();// 關閉輸入流 } if (out != null) { out.close();// 關閉輸出流

相關推薦

Hadoop實戰專案：小檔案合併

public class MergeSmallFilesToHDFS { private static FileSystem hdfs = null; //定義HDFS上的檔案系統物件 private static FileSystem local = null; //定義本地檔案系統物件

程式碼自留地：小檔案合併成大檔案，需要配置BytesZip使用，java

public class FileZip implements Serializable { String fileName = null; byte [] zipBytes = null;

HDFS小檔案合併問題的優化：copyMerge的改進

1.問題分析 用fsck命令統計 檢視HDFS上在某一天日誌的大小，分塊情況以及平均的塊大小，即 [[email protected] jar]$ hadoop fsck /wcc/da/kafka/report/2015-01-11 DEPRECATED: U

大資料（hadoop-小檔案合併、Mapreduce原理）

hadoop-小檔案合併 package com.andy.merge; import org.apache.hadoo

python spark中parquet檔案寫到hdfs，同時避免太多的小檔案（block小檔案合併）

    在pyspark中，使用資料框的檔案寫出函式write.parquet經常會生成太多的小檔案，例如申請了100個block，而每個block中的結果 只有幾百K，這在機器學習演算法的結果輸出中經常出現，這是一種很大的資源浪費，那麼如何同時避免太多的小檔案（bloc

hdfs 小檔案合併方案(附程式碼)

背景： presto計算落地出現了大量的小檔案，目前暫時沒有發現可以通過引數優化解決，所以開發了小檔案合併工具 工具架構如下 工具主要分為三部分： collector 負責將合併規則推送到redis佇列，合併規則物件定義如下， public class FileCo

Node.js+MySQL+Vue 的全棧實戰專案：星辰筆記

本場 Chat 是一個基於 Node.js 的全棧是實戰專案，目標就是帶領讀者朋友上手實戰。眾所周知全棧工程師是要比純前端有發展前景的，非常希望本篇文章能給朋友們帶來一些收穫。 該實戰專案主要有首頁、登陸、註冊、筆記分類，筆記列表，筆記詳情，釋出筆記和個人主頁八個部分。專案雖小，五臟俱全，設計的知

Python實戰專案：詳解銀行使用者流失預測

專案介紹 這次我們要學習的是銀行使用者流失預測專案，首先先來看看資料，資料分別存放在兩個檔案中，’Churn-Modelling.csv’裡面是訓練資料，’Churn-Modelling-Test-Data.csv’裡面是測試資料。下面是資料內容： 資料來源於國外匿名化處理後的真實

解決MapReduce中多個小檔案合併成大檔案問題

package inputformat; import java.io.IOException; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import

Hadoop、Spark處理小檔案

注：hadoop基於2.7.5；spark基於2.3.1-hadoop2.7-scala2.11.8 1.hadoop處理小檔案（提升mapreduce效能，沒有解決namenode記憶體問題）

C++(qt)遊戲實戰專案：坦克大戰(四)

螢幕上光有地圖也不行，還需要我們的坦克加入其中 新建tank.h和tank.cpp tank.h里加入 #ifndef TANK_H #define TANK_H #include"wanwu.h" #include"main.h" #include"

caffe 實戰系列：proto檔案格式以及含義解析：如何定義網路，如何設定網路引數(以AlexNet為例) 2016.3.30

（0）前言： 初學者往往不知道如何配置網路，或者面對這些引數卻無從下手不知道是什麼含義，下面我根據分析原始碼的經驗給出AlexNet的具體解釋，希望能夠給初學者一些定義網路上面的幫助此外還能夠知道如何找網路的引數，這些引數是如何設定的。 以AlexNet為例： 首先給出配

Linux下大檔案分割和小檔案合併

就像Android中除錯問題，有的時候Log連續儲存會很大，這個時候進行分割就很好地處理檔案了。 在Linux下分割檔案通過split工具進行，合併檔案可以通過cat進行。 1. split a. 可以按行數進行分割 split -l 500 big

嵌入式實戰專案：基於嵌入式linux花卉大棚溫溼度監測與調節系統的設計與實現

       實戰專案：基於嵌入式linux花卉大棚溫溼度監測與調節系統的設計與實現       大家好，我是aiku，最近一直在忙出【aiku嵌入式入門開發以及專案實戰系列教程視訊】      

用Hadoop AVRO進行大量小檔案的處理

使用 使用使用 使用 HDFS 儲存大量小檔案的缺點： 1.Hadoop NameNode 在記憶體中儲存所有檔案的“元資訊”資料。據統計，每一個檔案需要消耗 NameNode600 位元組記憶體。如果需要儲存大量的小檔案會對NameNode 造成極大的壓力。 2.

RMAN實戰8：控制檔案和資料檔案SCN、v$datafile_header檢視用途

前6篇都是講的RMAN的一些基礎理論和備份的東西，從今天開始進入恢復演練，恢復生產資料庫是每個DBA都不願意看到，但必須去面對。平時還要做好應急情況的預演練。 ORACLE啟動時資料文科和控制檔案的SCN對比 ORACLE進行正常關閉的時候

【專案實戰】：python：寫檔案個性化設定模組Python_Xlwt練習

python：寫檔案個性化設定模組Python_Xlwt練習 # -*- coding: utf-8 -*- """ Created on Sun Aug 5 22:52:22 2018 @author: A3 """ # ================

商城專案實戰37：訂單系統最小實現介面文件及實現

1 建立訂單 使用者使用portal建立訂單、android、ios、微信商城提交訂單時使用。 請求方法                        POST URL http://order.taotao.com/order/create 引數說明

Hadoop硬實戰之一：使用flume將系統日誌檔案匯入HDFS

問題來源：將所有生產系統產生的日誌檔案匯入到HDFS 解決方案：使用資料收集系統Flume將Linux日誌檔案匯入HDFS，將講解如何在分散式環境中配置Flume，並檢驗Flume的可靠性模式，本文以配置單機為例進行說明。 實施步驟： 1.在偽分散式模型中執行Flume.

使用Impala合併小檔案

1.文件編寫目的   Fayson在前面的文章《如何在Hadoop中處理小檔案》裡面介紹了多種處理方式。在Impala表中使用小檔案也會降低Impala和HDFS的效能，本篇文章Fayson主要介紹如何使用Impala合併小檔案。   內容概述