python指令碼生成caffe train_list.txt
import os path = "/home/data//" path_exp = os.path.expanduser(path) classes = [int(p) for p in os.listdir(path_exp)] classes.sort() # nrof_classes一個數據集下有多少個資料夾,就是說有多少個人,多少個類別 nrof_classes = len(classes) count=0 files = open("train_list.txt",'w') filets = open("test_list.txt",'w') count_u=0 for i in range(nrof_classes): class_name = str(classes[i]) count=count+1 count_u=count_u+1 facedir = os.path.join(path_exp, class_name) prefix1 = path+class_name+"/" if os.path.isdir(facedir): images = os.listdir(facedir) #print(images[0]) image_paths = [(prefix1+img+" "+class_name+"\n") for img in images] #print(image_paths[0]) if count < 0.8*nrof_classes: if len(image_paths)>4: test_path=[] for x in range(2): test_path.append(image_paths[0]) del image_paths[0] filets.writelines(test_path) files.writelines(image_paths) #if count==2: # break #imgae_pathses = [] #防止影象大小為0 #for x in image_paths: # if os.path.getsize(x)>0: # imgae_pathses.append(x) #if len(imgae_pathses)==0: # os.rmdir(facedir) files.close() filets.close()
python下os模組的一下有用的用法：
0 重新命名：檔案和資料夾都是一個命令：
os.rename(original_dir,new_dir)
1 檔案操作：
os.mknod("test.txt") 建立空檔案
fp = open("test.txt",w) 直接開啟一個檔案，如果檔案不存在則建立檔案
關於open 模式：
w 以寫方式開啟，
a 以追加模式開啟 (從 EOF 開始, 必要時建立新檔案)
r+ 以讀寫模式開啟
w+ 以讀寫模式開啟 (參見 w )
a+ 以讀寫模式開啟 (參見 a )
rb 以二進位制讀模式開啟
wb 以二進位制寫模式開啟 (參見 w )
ab 以二進位制追加模式開啟 (參見 a )
rb+ 以二進位制讀寫模式開啟 (參見 r+ )
wb+ 以二進位制讀寫模式開啟 (參見 w+ )
ab+ 以二進位制讀寫模式開啟 (參見 a+ )
fp.read([size]) #size為讀取的長度，以byte為單位
fp.readline([size]) #讀一行，如果定義了size，有可能返回的只是一行的一部分
fp.readlines([size]) #把檔案每一行作為一個list的一個成員，並返回這個list。其實它的內部是通過迴圈呼叫readline()來實現的。如果提供size引數，size是表示讀取內容的總長，也就是說可能只讀到檔案的一部分。
fp.write(str) #把str寫到檔案中，write()並不會在str後加上一個換行符
fp.writelines(seq) #把seq的內容全部寫到檔案中(多行一次性寫入)。這個函式也只是忠實地寫入，不會在每行後面加上任何東西。
fp.close() #關閉檔案。python會在一個檔案不用後自動關閉檔案，不過這一功能沒有保證，最好還是養成自己關閉的習慣。 如果一個檔案在關閉後還對其進行操作會產生ValueError
fp.flush() #把緩衝區的內容寫入硬碟
fp.fileno() #返回一個長整型的”檔案標籤“
fp.isatty() #檔案是否是一個終端裝置檔案（unix系統中的）
fp.tell() #返回檔案操作標記的當前位置，以檔案的開頭為原點
fp.next() #返回下一行，並將檔案操作標記位移到下一行。把一個file用於for … in file這樣的語句時，就是呼叫next()函式來實現遍歷的。
fp.seek(offset[,whence]) #將檔案打操作標記移到offset的位置。這個offset一般是相對於檔案的開頭來計算的，一般為正數。但如果提供了whence引數就不一定了，whence可以為0表示從頭開始計算，1表示以當前位置為原點計算。2表示以檔案末尾為原點進行計算。需要注意，如果檔案以a或a+的模式開啟，每次進行寫操作時，檔案操作標記會自動返回到檔案末尾。
fp.truncate([size]) #把檔案裁成規定的大小，預設的是裁到當前檔案操作標記的位置。如果size比檔案的大小還要大，依據系統的不同可能是不改變檔案，也可能是用0把檔案補到相應的大小，也可能是以一些隨機的內容加上去。
也可以直接開啟式的新建檔案： with open('path0.txt','ab') as f:
for d in arr:
np.savetxt(f,d,fmt='%5f') path0.txt將直接在python指令碼所在目錄新建
arr是shape是height x width x channel的numpy陣列，注意，這裡這麼寫是因為numpy一次只能夠儲存一個height x width維度的資料
2 新建、刪除資料夾
新建：os.makedirs()
比如windows下新建E:\\dir\\subdir\\
os.makedirs('E:\\dir\\subdir\\') 或者 os.makedirs('E:/dir/subdir/')
ubuntu下新建就是os.makedirs('/home/dir/subdir/')
shutil.copyfile("oldfile","newfile") oldfile和newfile都只能是檔案
shutil.copy("oldfile","newfile") oldfile只能是資料夾，newfile可以是檔案，也可以是目標目錄
複製資料夾：
shutil.copytree("olddir","newdir") olddir和newdir都只能是目錄，且newdir必須不存在
重新命名檔案（目錄）
os.rename("oldname","newname") 檔案或目錄都是使用這條命令
移動檔案（目錄）
shutil.move("oldpos","newpos")
刪除檔案
os.remove("file")
刪除目錄
os.rmdir("dir")只能刪除空目錄
shutil.rmtree("dir") 空目錄、有內容的目錄都可以刪
轉換目錄
os.chdir("path") 換路徑
獲取檔案大小：os.path.getsize（filename）
3 需要注意的是，在ubuntu下有可能路徑包括~，因此需要展開，展開使用：
path_exp = os.path.expanduser(nam)
4 還有一種情況，路徑相連，需要將一級一級的目錄連線起來，os會自動處理層級目錄之間的/,比如，將目錄/home 和 資料 1之間連線起來：
os.path.join('/home', str(1))，
後面也可以為檔名，是一樣的用法
5 路徑存在:用於判斷目錄是否存在
a = os.path.exists(dir)
存在返回True，否則False
6 獲取目錄列表，就是給出的目錄下的檔案或目錄列表：
classes = os.listdir(path_exp)
獲得的是path_exp下的所有檔案的列表，包含目錄和檔案，
os.path.dirname(path) #返回檔案路徑，或者是給定路徑去掉最後一個目錄後的路徑，
還有一種使用方式是用在檔案中：
os.path.dirname(__file__)用於獲取所在檔案的路徑
7 執行shell命令: os.system()：
ubuntu下：os.system(‘pwd’)
Python指令碼工作的目錄路徑: os.getcwd()
讀取和設定環境變數:os.getenv() 與os.putenv()
給出當前平臺使用的行終止符:os.linesep Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'
指示你正在使用的平臺：os.name 對於Windows，它是'nt'，而對於Linux/Unix使用者，它是'posix'
建立多級目錄：os.makedirs（r“c：\python\test”）
建立單個目錄：os.mkdir（“test”）
獲取檔案屬性：os.stat（file）
修改檔案許可權與時間戳：os.chmod（file）
終止當前程序：os.exit（）
更全面的os.path用法：
os.path.abspath(path) #返回絕對路徑
os.path.basename(path) #返回檔名
os.path.basename(‘E:a\b\c.jpg’)
'c.jpg'
os.path.commonprefix(list) #返回list(多個路徑)中，所有path共有的最長的路徑。os.path.dirname(path) #返回檔案路徑
os.path.exists(path) #路徑存在則返回True,路徑損壞返回False
os.path.lexists #路徑存在則返回True,路徑損壞也返回True
os.path.expanduser(path) #把path中包含的"~"和"~user"轉換成使用者目錄
os.path.expandvars(path) #根據環境變數的值替換path中包含的”$name”和”${name}”
os.path.getatime(path) #返回最後一次進入此path的時間。
os.path.getmtime(path) #返回在此path下最後一次修改的時間。
os.path.getctime(path) #返回path的大小
os.path.getsize(path) #返回檔案大小，如果檔案不存在就返回錯誤
os.path.isabs(path) #判斷是否為絕對路徑
os.path.isfile(path) #判斷路徑是否為檔案
os.path.isdir(path) #判斷路徑是否為目錄
os.path.islink(path) #判斷路徑是否為連結
os.path.ismount(path) #判斷路徑是否為掛載點（）
os.path.join(path1[, path2[, ...]]) #把目錄和檔名合成一個路徑
os.path.normcase(path) #轉換path的大小寫和斜槓
os.path.normpath(path) #規範path字串形式
os.path.realpath(path) #返回path的真實路徑
os.path.relpath(path[, start]) #從start開始計算相對路徑
os.path.samefile(path1, path2) #判斷目錄或檔案是否相同
os.path.sameopenfile(fp1, fp2) #判斷fp1和fp2是否指向同一檔案
os.path.samestat(stat1, stat2) #判斷stat tuple stat1和stat2是否指向同一個檔案
os.path.split(path) #把路徑分割成dirname和basename，返回一個元組：
os.path.split(‘E:a\b\c.jpg’)
'E:\\a\\b','c.jpg'
os.path.splitdrive(path) #一般用在windows下，返回驅動器名和路徑組成的元組
os.path.splitext(path) #分割路徑，返回路徑名和副檔名的元組
os.path.split(‘E:a\b\c.jpg’)
'E:\\a\\b\\c','.jpg'
os.path.splitunc(path) #把路徑分割為載入點與檔案os.path.walk(path, visit, arg) #遍歷path，進入每個目錄都呼叫visit函式，visit函式必須有
3個引數(arg, dirname, names)，dirname表示當前目錄的目錄名，names代表當前目錄下的所有
檔名，args則為walk的第三個引數
os.path.supports_unicode_filenames #設定是否支援unicode路徑名