1. 程式人生 > >python 處理大量檔案

python 處理大量檔案

事情還得從用python寫爬蟲開始說起,當時在freebuf看了幾篇爬蟲得文章,然後又遇到專案中要用很多圖片,就現學現用在網上爬了很多圖片下來。因為當時爬下來的都是表情的圖片,所以前幾天的時候本來想把爬下來的所有的表情圖片新增到qq表情包裡面的。結果每頁表情最多放300多張,這就尷尬了。我爬的圖片每個資料夾大部分都超過了300張。所以後來想用python把大量的圖片分別放到不同的資料夾裡面。

好吧。上程式碼吧。原理還是多簡單的主要就是shutil.move()和os.mkdir()的使用

import os
import os.path
import shutil
import sys


root = sys.argv[1] # file path
count = int(sys.argv[2]) #file count

num = 0
ismove=0
for parent,dirnames,filenames in os.walk(root):
	r = len(filenames) / count
	for i in range(r+1):
		p = root+"/"+str(i)
		os.mkdir(p)
	for filename in filenames:
		num = num + 1
		if num / count == 1:
			ismove = ismove + 1
			num=0
		p = root +"/"+ str(ismove)
		path = os.path.join(parent,filename)
		print(path+"==="+p)
		shutil.move(path,p)
#使用方法 python xxxx.py 檔案路徑 檔案數量

相關推薦

python 處理大量檔案

事情還得從用python寫爬蟲開始說起,當時在freebuf看了幾篇爬蟲得文章,然後又遇到專案中要用很多圖片,就現學現用在網上爬了很多圖片下來。因為當時爬下來的都是表情的圖片,所以前幾天的時候本來想把

python 處理CSV檔案

讀取 import csv with open('test.csv','r',encoding='utf8') as csvfile: reader = csv.reader(csvfile) for i in reader: print(i) 寫

使用Python處理Excel檔案的一些程式碼示例

筆記:使用Python處理Excel檔案的一些程式碼示例,以下程式碼來自於《Python資料分析基礎》一書,有刪改 #!/usr/bin/env python3 # 匯入讀取Excel檔案的庫,xlrd,其中的 open_workbook 為讀取工作簿 from xlrd import open_wo

Python處理word檔案

python對word檔案進行讀寫和複製 import win32conimport win32com.clientimport os#讀取word檔案def readWoldFile(path): #呼叫系統word功能,可以處理doc和docx檔案 mw=win32com.client.Dispatch

Python處理excel檔案

Python處理excel檔案 ​ 這裡只介紹幾種常用的庫。對於2003以前的excel版本,即.xls檔案,只能用xlrd和xlwt庫來處理;對於2003及以後的excel檔案,即.xlsx檔案,需要使用openpyxl庫來處理,這裡著重介紹這三個第三方庫。 ​ 注:Workboo

python處理txt檔案的一種情況

在txt文字中,以換行符作為標記分段處理txt檔案中的內容的方法: with open(path, 'r', encoding='utf-8') as f: for line in f: if line!='\n': print(line

Python程式設計從入門到實踐》記錄之Python處理CSV檔案資料

目錄 1、分析CSV檔案(reader()函式、next()函式) 2、列印檔案頭及其位置 3、提取並讀取、顯示資料 4、在圖表中新增日期(datetime模組) csv模組包含在Python標準庫中,可用於分析CSV檔案中的資料行。 1、分析CSV檔案(reader()

Python處理csv檔案

import csv ''' 普通方式讀取csv檔案 ''' def read_csv(): with open('example.csv', 'r') as file: reader = csv.reader(file) # 返回可迭

python 處理json檔案

# -*- coding: utf-8 -*- """處理json Usage: netCheck <JSONFILE> <SAVEFILE> """ from docopt import docopt import json def deal_jso

Python處理xlsx檔案

今天朋友有一需求,對xlsx檔案內容進行讀寫,要求把原來檔案每行按照3列一組,改成多行,如果不足3列的,單獨一行。 如:a,b,c,d,e,f,g7列,改成a,b,c d,e,f g 3行,每行都做相應的操作,完成行修改後,再進行行列轉換 長話短說,本指

【詳解】Python處理大量資料與DICT遍歷的優化問題

前言:本例我們的需求是寫一個每天0點執行的指令碼。這個指令碼從一個實時更新的資料庫中提取資料。 每天跑一個Excel表出來,表裡是當天零點與昨天零點時的差異的資料展示。 其實是很簡單的需求,遇到的關鍵問題是資料量。該例的資料量太大,每次都能從資料庫中拿出20多萬條資料。

python處理txt檔案

需求: 給一個txt檔案,經過程式處理後,生成目標txt檔案 例如: 原檔案內容如下: 商戶號|終端號|交易型別|交易子型別|總筆數|總金額|總手續費|清算時間 1201603|38554|04317|00|13|0.31|2.40|2018-01-15 商戶號|終端號|交

python高手之路python處理excel檔案

用python來自動生成excel資料檔案。python處理excel檔案主要是第三方模組庫xlrd、xlwt、xluntils和pyExcelerator,除此之外,python處理excel還可以用win32com和openpyxl模組。 方法一

python 處理excel檔案、txt檔案

處理excel檔案的python庫有很多,如xlsxwriter、xlrd、openpyxl等。由於經常用pandas處理資料,而且pandas讀寫excel更方便,所以主要講pandas是如何操作excel的。也介紹瞭如何分別使用用xlsxwriter和ope

python高手之路python處理excel檔案(方法彙總)

用python來自動生成excel資料檔案。python處理excel檔案主要是第三方模組庫xlrd、xlwt、xluntils和pyExcelerator,除此之外,python處理excel還可以用win32com和openpyxl模組。 方法一: 小羅問我怎麼從

使用Python處理聲音檔案(五):繪製立體聲音樂左右聲道頻譜

說明:1、需要首先安裝Python擴充套件庫scipy。2、本文程式碼只適用於未壓縮的WAV聲音

python處理CSV檔案格式資料

1、CSV檔案 要在文字檔案中儲存資料,最簡單的方式是將資料作為一系列以逗號分隔的值(CSV)寫入檔案,這樣的檔案稱為CSV檔案。 2、分析CSV檔案頭 1)呼叫csv.reader()將儲存的檔案物件作為實參傳遞給它,從而建立一個與檔案相關聯的閱讀器物件

Python處理csv檔案(一)

CSV(Comma-Separated Values)即逗號分隔值,是純文字,任何編輯器都可開啟,在CSV檔案中:值沒有型別,所有值都是字串不能指定字型顏色等樣式不能指定單元格的寬高,不能合併單元格沒有多個工作表不能嵌入影象圖表在CSV檔案中,以,作為分隔符,分隔兩個單元格。

python處理excel檔案(1)

#!/usr/bin/env python3 import xlrd book=xlrd.open_workbook('E:\\研究生學習\\python資料\\實驗資料\\Excel檔案實驗資料\\SOWC 2014 Stat Tables_Table 9.xlsx')

python處理行列分明的txt檔案

Rock_path="/media/gfq/dataset/Lakh MIDI Data/dataset/Rock.txt" 行列明顯分離: with open(Rock_path) as f: Rock=[line.split() for line in f] 按行列讀取你需要