python 處理大量檔案
事情還得從用python寫爬蟲開始說起,當時在freebuf看了幾篇爬蟲得文章,然後又遇到專案中要用很多圖片,就現學現用在網上爬了很多圖片下來。因為當時爬下來的都是表情的圖片,所以前幾天的時候本來想把爬下來的所有的表情圖片新增到qq表情包裡面的。結果每頁表情最多放300多張,這就尷尬了。我爬的圖片每個資料夾大部分都超過了300張。所以後來想用python把大量的圖片分別放到不同的資料夾裡面。
好吧。上程式碼吧。原理還是多簡單的主要就是shutil.move()和os.mkdir()的使用
import os import os.path import shutil import sys root = sys.argv[1] # file path count = int(sys.argv[2]) #file count num = 0 ismove=0 for parent,dirnames,filenames in os.walk(root): r = len(filenames) / count for i in range(r+1): p = root+"/"+str(i) os.mkdir(p) for filename in filenames: num = num + 1 if num / count == 1: ismove = ismove + 1 num=0 p = root +"/"+ str(ismove) path = os.path.join(parent,filename) print(path+"==="+p) shutil.move(path,p)
#使用方法 python xxxx.py 檔案路徑 檔案數量
相關推薦
python 處理大量檔案
事情還得從用python寫爬蟲開始說起,當時在freebuf看了幾篇爬蟲得文章,然後又遇到專案中要用很多圖片,就現學現用在網上爬了很多圖片下來。因為當時爬下來的都是表情的圖片,所以前幾天的時候本來想把
python 處理CSV檔案
讀取 import csv with open('test.csv','r',encoding='utf8') as csvfile: reader = csv.reader(csvfile) for i in reader: print(i) 寫
使用Python處理Excel檔案的一些程式碼示例
筆記:使用Python處理Excel檔案的一些程式碼示例,以下程式碼來自於《Python資料分析基礎》一書,有刪改 #!/usr/bin/env python3 # 匯入讀取Excel檔案的庫,xlrd,其中的 open_workbook 為讀取工作簿 from xlrd import open_wo
Python處理word檔案
python對word檔案進行讀寫和複製 import win32conimport win32com.clientimport os#讀取word檔案def readWoldFile(path): #呼叫系統word功能,可以處理doc和docx檔案 mw=win32com.client.Dispatch
Python處理excel檔案
Python處理excel檔案 這裡只介紹幾種常用的庫。對於2003以前的excel版本,即.xls檔案,只能用xlrd和xlwt庫來處理;對於2003及以後的excel檔案,即.xlsx檔案,需要使用openpyxl庫來處理,這裡著重介紹這三個第三方庫。 注:Workboo
python處理txt檔案的一種情況
在txt文字中,以換行符作為標記分段處理txt檔案中的內容的方法: with open(path, 'r', encoding='utf-8') as f: for line in f: if line!='\n': print(line
《Python程式設計從入門到實踐》記錄之Python處理CSV檔案資料
目錄 1、分析CSV檔案(reader()函式、next()函式) 2、列印檔案頭及其位置 3、提取並讀取、顯示資料 4、在圖表中新增日期(datetime模組) csv模組包含在Python標準庫中,可用於分析CSV檔案中的資料行。 1、分析CSV檔案(reader()
Python處理csv檔案
import csv ''' 普通方式讀取csv檔案 ''' def read_csv(): with open('example.csv', 'r') as file: reader = csv.reader(file) # 返回可迭
python 處理json檔案
# -*- coding: utf-8 -*- """處理json Usage: netCheck <JSONFILE> <SAVEFILE> """ from docopt import docopt import json def deal_jso
Python處理xlsx檔案
今天朋友有一需求,對xlsx檔案內容進行讀寫,要求把原來檔案每行按照3列一組,改成多行,如果不足3列的,單獨一行。 如:a,b,c,d,e,f,g7列,改成a,b,c d,e,f g 3行,每行都做相應的操作,完成行修改後,再進行行列轉換 長話短說,本指
【詳解】Python處理大量資料與DICT遍歷的優化問題
前言:本例我們的需求是寫一個每天0點執行的指令碼。這個指令碼從一個實時更新的資料庫中提取資料。 每天跑一個Excel表出來,表裡是當天零點與昨天零點時的差異的資料展示。 其實是很簡單的需求,遇到的關鍵問題是資料量。該例的資料量太大,每次都能從資料庫中拿出20多萬條資料。
python處理txt檔案
需求: 給一個txt檔案,經過程式處理後,生成目標txt檔案 例如: 原檔案內容如下: 商戶號|終端號|交易型別|交易子型別|總筆數|總金額|總手續費|清算時間 1201603|38554|04317|00|13|0.31|2.40|2018-01-15 商戶號|終端號|交
python高手之路python處理excel檔案
用python來自動生成excel資料檔案。python處理excel檔案主要是第三方模組庫xlrd、xlwt、xluntils和pyExcelerator,除此之外,python處理excel還可以用win32com和openpyxl模組。 方法一
python 處理excel檔案、txt檔案
處理excel檔案的python庫有很多,如xlsxwriter、xlrd、openpyxl等。由於經常用pandas處理資料,而且pandas讀寫excel更方便,所以主要講pandas是如何操作excel的。也介紹瞭如何分別使用用xlsxwriter和ope
python高手之路python處理excel檔案(方法彙總)
用python來自動生成excel資料檔案。python處理excel檔案主要是第三方模組庫xlrd、xlwt、xluntils和pyExcelerator,除此之外,python處理excel還可以用win32com和openpyxl模組。 方法一: 小羅問我怎麼從
使用Python處理聲音檔案(五):繪製立體聲音樂左右聲道頻譜
說明:1、需要首先安裝Python擴充套件庫scipy。2、本文程式碼只適用於未壓縮的WAV聲音
python處理CSV檔案格式資料
1、CSV檔案 要在文字檔案中儲存資料,最簡單的方式是將資料作為一系列以逗號分隔的值(CSV)寫入檔案,這樣的檔案稱為CSV檔案。 2、分析CSV檔案頭 1)呼叫csv.reader()將儲存的檔案物件作為實參傳遞給它,從而建立一個與檔案相關聯的閱讀器物件
Python處理csv檔案(一)
CSV(Comma-Separated Values)即逗號分隔值,是純文字,任何編輯器都可開啟,在CSV檔案中:值沒有型別,所有值都是字串不能指定字型顏色等樣式不能指定單元格的寬高,不能合併單元格沒有多個工作表不能嵌入影象圖表在CSV檔案中,以,作為分隔符,分隔兩個單元格。
用python處理excel檔案(1)
#!/usr/bin/env python3 import xlrd book=xlrd.open_workbook('E:\\研究生學習\\python資料\\實驗資料\\Excel檔案實驗資料\\SOWC 2014 Stat Tables_Table 9.xlsx')
python處理行列分明的txt檔案
Rock_path="/media/gfq/dataset/Lakh MIDI Data/dataset/Rock.txt" 行列明顯分離: with open(Rock_path) as f: Rock=[line.split() for line in f] 按行列讀取你需要