1. 程式人生 > >python 對以空行作為分割的塊檔案進行讀取的方法

python 對以空行作為分割的塊檔案進行讀取的方法

這幾天一直在處理資料,也接觸到了好幾款不一樣的庫,pandas雖然好用但是卻沒有直接處理空行分塊的txt檔案,所以只能自己手寫指令碼對檔案進行分塊讀取,然後每一塊的資訊儲存為csv檔案的一行。我處理的物件為DBLP的資料集,地址是http://cn.aminer.org/citation  採用的是v1資料集。

需要將形如#c,#!等分別代表的不同意思的資訊提取出來

資料的格式如下;

資料每塊的含義參見資料集主頁給出的說明。

def exact_edges(path1,path2):
a = open(path1,'r')
    file = a.read().splitlines()
    b = 
open(path2,'wb') csv_file2 = csv.writer(b) KDD = 'ACM SIGKDD international conference on Knowledge discovery and data mining' SIGIR = 'international ACM SIGIR conference on Research and development in information retrieval' i = 0 num = 0 while True: list = [] flag = 0 if num != 0:#對讀取的file進行刪除操作,讀取完成的部分將在下一塊讀取之前刪除掉
for x in range(0,num): file.pop(0) num = 0 for line in file: num = num+1 if len(line) > 0: if line.startswith('#index'): print line list.append(line) if line.startswith('#%'): print line list.append(line) if line.startswith('#c'
): '''print line if ('conference on Knowledge discovery and data mining' in str(line)) or ( 'international ACM SIGIR conference on Research and development in information' in line): print '...................' flag = 1''' list.append(line) if line.startswith('#!'): list.append(line) else: #print '................................' break csv_file2.writerow(list)