python 對以空行作為分割的塊檔案進行讀取的方法
阿新 • • 發佈:2019-01-25
這幾天一直在處理資料,也接觸到了好幾款不一樣的庫,pandas雖然好用但是卻沒有直接處理空行分塊的txt檔案,所以只能自己手寫指令碼對檔案進行分塊讀取,然後每一塊的資訊儲存為csv檔案的一行。我處理的物件為DBLP的資料集,地址是http://cn.aminer.org/citation 採用的是v1資料集。
需要將形如#c,#!等分別代表的不同意思的資訊提取出來
資料的格式如下;
資料每塊的含義參見資料集主頁給出的說明。
def exact_edges(path1,path2): a = open(path1,'r') file = a.read().splitlines() b =open(path2,'wb') csv_file2 = csv.writer(b) KDD = 'ACM SIGKDD international conference on Knowledge discovery and data mining' SIGIR = 'international ACM SIGIR conference on Research and development in information retrieval' i = 0 num = 0 while True: list = [] flag = 0 if num != 0:#對讀取的file進行刪除操作,讀取完成的部分將在下一塊讀取之前刪除掉for x in range(0,num): file.pop(0) num = 0 for line in file: num = num+1 if len(line) > 0: if line.startswith('#index'): print line list.append(line) if line.startswith('#%'): print line list.append(line) if line.startswith('#c'): '''print line if ('conference on Knowledge discovery and data mining' in str(line)) or ( 'international ACM SIGIR conference on Research and development in information' in line): print '...................' flag = 1''' list.append(line) if line.startswith('#!'): list.append(line) else: #print '................................' break csv_file2.writerow(list)