這篇文章主要介紹了簡單瞭解Python讀取大檔案程式碼例項,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

通常對於大檔案讀取及處理，不可能直接載入到記憶體中，因此進行分批次小量讀取及處理

I、第一種讀取方式

一行一行的讀取，速度較慢

def read_line(path):
  with open(path,'r',encoding='utf-8') as fout:
    line = fout.readline()
    while line:
      line = fout.readline()
      print(line)

II、第二種讀取方式

設定每次讀取大小，從而完成多行快速讀取

def read_size(path):
  with open(path,"r",encoding='utf-8') as fout:
    while 1:
      buffer = fout.read(8 * 1024 * 1024)
      if not buffer:
        break
      print(buffer)

III、第三種讀取方式

使用itertools模組,islice返回的是一個生成器，可以用list格式化

from itertools import islice
def read_itertools(path):
  with open(path,encoding='utf-8') as fout:
    list_gen = islice(fout,5) # 兩個引數分別表示開始行和結束行
    for line in list_gen:
      print(line)

完成

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。