1. 程式人生 > >Python3 操作 HDFS

Python3 操作 HDFS

Python pyhdfs

【第三方包】

  • pyhdfs(pypi,github,支持HA)


【功能】


#encoding: utf-8
#author: walker
#date: 2018-03-17 
#summary: 利用 pyhdfs 重命名 hdfs 文件或目錄

import os, sys, time
from pyhdfs import HdfsClient

SrcPath = '/test/xxx'
DstPath = '/test/yyy'
NameNode = 'nn1.example.com:50070,nn2.example.com:50070'


# 將 SrcPath 改名為 DstPath
def Rename(SrcPath, DstPath):
	fs = HdfsClient(hosts=NameNode)
	if not fs.exists(SrcPath):
		print('Error: not found %s' % SrcPath)
		sys.exit(-1)
		
	print('Reanme ... \n%s\n -> \n%s \n' % (SrcPath, DstPath))
	
	fs.rename(SrcPath, DstPath)
	
	
if __name__ == '__main__':
	Rename(SrcPath, DstPath)


*** walker ***




Python3 操作 HDFS