1. 程式人生 > >pandas分段讀取csv

pandas分段讀取csv

主要是因為記憶體太小,一次性讀取會MemoryError

def get_df(file_path):
    pd.set_option('display.max_columns', None)
    pd.set_option('display.width',200)
    mylist = []
    for chunk in  pd.read_csv(file_path, chunksize=20000,keep_default_na=False):
        mylist.append(chunk)
    temp_df = pd.concat(mylist, axis=
0) del mylist return temp_df

用Python32位的時候,讀大檔案就會報這個錯。