1. 程式人生 > 程式設計 >python實現tail -f 功能

python實現tail -f 功能

tailf與tail -f類似:當檔案不增長時並不訪問檔案
tail -f:只跟蹤檔案內容
tail -F:檔案內容與檔名都跟蹤

這篇文章最初是因為reboot的群裡,有人去面試,筆試題有這個題,不知道怎麼做,什麼思路,就發群裡大家討論

我想了一下,簡單說一下我的想法吧,當然,也有很好用的pyinotify模組專門監聽檔案變化,不過我更想介紹的,是解決的思路,畢竟作為面試官,還是想看到一下解決問題的思路,而且我覺得這一題的難點不在於監控檔案增量,而在於怎麼列印最後面10行

希望大家讀這篇文章前,對python基礎、處理檔案和常用模組有一個簡單的瞭解,知道下面幾個名詞是啥

open('a.txt')
file.seek
file.tell
time.sleep()

下面思路限於我個人知識,免不了有錯誤和考慮不周的,希望大家有更好的方法提出來,我隨時優化程式碼,題目的感覺沒啥太多的坑,下面讓天真爛漫的蝸牛教大家用python的思路

怎麼用python實現

其實思路也不難啦

  • 開啟這個檔案,指標移到最後
  • 每隔一秒就嘗試readline一下,有內容就打印出來,沒內容就sleep
  • 大概就是這麼個意思

監聽檔案

思路如下:

  • 用open開啟檔案
  • 用seek檔案指標,給大爺把跳到檔案最後面
  • while True進行迴圈

持續不停的readline,如果能讀到內容,打印出來即可

程式碼呼之欲出

with open('test.txt') as f:
  f.seek(0,2)
  while True:
    last_pos = f.tell()
    line = f.readline()
    if line:
      print line

程式碼說明

  • seek第二個引數2,意思就是從檔案結尾處開始seek,更標準的寫法使用os模組下面的SEEK_END,可讀性更好
  • 只寫出了簡單的邏輯,程式碼簡單粗暴,如果這個題目是10分的話,最多也就拿4分吧,不能再多了

優化點

  • print有缺陷,每次都是新的一行,換成sys.stdout.write(line)更和諧
  • 檔名傳參,不能寫死
  • 直接列印可以當成預設行為,具體要做什麼,可以寫成函式處理,這樣我們就可以把新行做其他處理,比如展示在瀏覽器裡
  • 加上容錯處理,比如檔案不存在會報錯
  • while True一直都檔案,比較耗效能,每讀一次,間隔一秒比較靠譜
  • 呼叫time.sleep(1)
  • 用類來組織程式碼

例項程式碼如下

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
class Tail():
  def __init__(self,file_name,callback=sys.stdout.write):
    self.file_name = file_name
    self.callback = callback
  def follow(self):
    try:
      with open(self.file_name) as f:
        f.seek(0,2)
        while True:
          line = f.readline()
          if line:
            self.callback(line)
          time.sleep(1)
    except Exception,e:
      print '開啟檔案失敗,囧,看看檔案是不是不存在,或者許可權有問題'
      print e

使用方法:

# 使用預設的sys.stdout.write列印到螢幕
py_tail = Tail('test.txt')
py_tail.follow()
# 自己定義處理函式
def test_tail(line):
  print 'xx'+line+'xx'
py_tail1 = Tail('test.txt',test_tail)
py_tail1.follow()

咦 等等,tail -f 預設還會列印最後10行,這個好像才是這個題目的難點所在,眾所周知,python裡讀檔案指標,只能移動到固定位置,不能判斷是哪一行,囧,先實現簡單的,逐漸加強吧

預設列印最後10行

現在這個程式碼,大概能拿6分啦,我們還有一個功能沒做,那就是列印最後n行,預設是10行,現在把這個功能加上,加一個函式就行啦

檔案小的時候

我們知道,readlines可以獲取所有內容,並且分行,程式碼呼之欲出,獲取list最後10行很簡單有麼有,切片妥妥的

# 演示程式碼,說明核心邏輯,完整程式碼在下面
last_lines = f.readlines()[-10:]
for line in last_lines:
  self.callback(line)

此時程式碼變成這樣了

import sys
import time
class Tail():
  def __init__(self,callback=sys.stdout.write):
    self.file_name = file_name
    self.callback = callback
  def follow(self,n=10):
    try:
      with open(self.file_name) as f:
        self._file = f
        self.showLastLine(n)
        self._file.seek(0,2)
        while True:
          line = self._file.readline()
          if line:
            self.callback(line)
    except Exception,e:
      print '開啟檔案失敗,囧,看看檔案是不是不存在,或者許可權有問題'
      print e
  def showLastLine(self,n):
    last_lines = self._file.readlines()[-10:]
    for line in last_lines:
      self.callback(line)

更進一步:大的日誌怎麼辦

此時程式碼有7分時很隨意啦,但是如果檔案特別大呢,特別是日誌檔案,很容易幾個G,我們只需要最後幾行,全部讀出來記憶體受不了,所以我們要繼續優化showLastLine函式,我覺得這才是這題的難點所在

大概的思路如下

我先估計日誌一行大概是100個字元,注意,我只是估計一個大概,多了也沒關係,我們只是需要一個初始值,後面會修正

我要讀十行,所以一開始就seek到離結尾1000的位置seek(-1000,2),把最後1000個字元讀出來,然後有一個判斷

如果這1000個字元長度大於檔案長度,不用管了 屬於級別1的情況,直接read然後split

如果1000個字元裡面的換行符大於10,說明1000個字元裡,大於10行,那也好辦,處理思路類似級別1,直接split取後面十個

問題就在於 如果小於10怎麼處理

比如1000個裡,只有四個換行符,說明一行大概是1000/4=250個字元,我們還缺6行,所以我們再讀250*5=1500,一共有2500的大概比較靠譜,然後在對2500個字元進行相同的邏輯判斷,直到讀出的字元裡,換行符大於10,讀取結束

邏輯清晰以後,程式碼就呼之欲出啦

加上註釋的版本

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import sys
import time
class Tail():
  def __init__(self,n=10):
    try:
      # 開啟檔案
      with open(self.file_name) as f:
        self._file = f
        self._file.seek(0,2)
        # 儲存檔案的字元長度
        self.file_length = self._file.tell()
        # 列印最後10行
        self.showLastLine(n)
        # 持續讀檔案 列印增量
        while True:
          line = self._file.readline()
          if line:
            self.callback(line)
          time.sleep(1)
    except Exception,n):
    # 一行大概100個吧 這個數改成1或者1000都行
    len_line = 100
    # n預設是10,也可以follow的引數傳進來
    read_len = len_line*n
    # 用last_lines儲存最後要處理的內容
    while True:
      # 如果要讀取的1000個字元,大於之前儲存的檔案長度
      # 讀完檔案,直接break
      if read_len>self.file_length:
        self._file.seek(0)
        last_lines = self._file.read().split('\n')[-n:]
        break
      # 先讀1000個 然後判斷1000個字元裡換行符的數量
      self._file.seek(-read_len,2)
      last_words = self._file.read(read_len)
      # count是換行符的數量
      count = last_words.count('\n')
      if count>=n:
        # 換行符數量大於10 很好處理,直接讀取
        last_lines = last_words.split('\n')[-n:]
        break
      # 換行符不夠10個
      else:
        # break
        #不夠十行
        # 如果一個換行符也沒有,那麼我們就認為一行大概是100個
        if count==0:
          len_perline = read_len
        # 如果有4個換行符,我們認為每行大概有250個字元
        else:
          len_perline = read_len/count
        # 要讀取的長度變為2500,繼續重新判斷
        read_len = len_perline * n
    for line in last_lines:
      self.callback(line+'\n')
if __name__ == '__main__':
  py_tail = Tail('test.txt')
  py_tail.follow(20)

效果如下,終於可以列印最後幾行了,大家可以試一下,無論日誌每行只有1個,還是每行有300個字元,都是可以列印最後10行的

能做到這個地步,一般的面試官就直接被你搞定了,這個程式碼大概8分吧,如果還想再進一步,還有一些可以優化的地方,程式碼放github上了,有興趣的可以拿去研究

待優化:留給大家作為擴充套件

  • 如果你tail -f的過程中,日誌被備份清空或者切割了,怎麼處理
  • 其實很簡單,你維護一個指標位置,如果下次迴圈發現檔案指標位置變了,從最新的指標位置開始讀就行
  • 具體每種錯誤的型別

我這裡只是簡單的try 可以寫個函式,把檔案不存在,檔案沒許可權這些報錯資訊分開

效能小優化,比如我第一次讀了1000,只有4行,我大概估計每行250個字元,總體需要2500行,下次沒必要直接讀2500個,而是讀1500行和之前1000行拼起來即可

最後大殺器 如果寫出來這個,基本面試官會直接

打死你

import os
def tail(file_name):
  os.system('tail -f '+file_name)
tail('log.log')

總結

以上所述是小編給大家介紹的python實現tail -f 功能,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回覆大家的。在此也非常感謝大家對我們網站的支援!
如果你覺得本文對你有幫助,歡迎轉載,煩請註明出處,謝謝!