python實現tail -f 功能
tailf與tail -f類似:當檔案不增長時並不訪問檔案
tail -f:只跟蹤檔案內容
tail -F:檔案內容與檔名都跟蹤
這篇文章最初是因為reboot的群裡,有人去面試,筆試題有這個題,不知道怎麼做,什麼思路,就發群裡大家討論
我想了一下,簡單說一下我的想法吧,當然,也有很好用的pyinotify模組專門監聽檔案變化,不過我更想介紹的,是解決的思路,畢竟作為面試官,還是想看到一下解決問題的思路,而且我覺得這一題的難點不在於監控檔案增量,而在於怎麼列印最後面10行
希望大家讀這篇文章前,對python基礎、處理檔案和常用模組有一個簡單的瞭解,知道下面幾個名詞是啥
open('a.txt') file.seek file.tell time.sleep()
下面思路限於我個人知識,免不了有錯誤和考慮不周的,希望大家有更好的方法提出來,我隨時優化程式碼,題目的感覺沒啥太多的坑,下面讓天真爛漫的蝸牛教大家用python的思路
怎麼用python實現
其實思路也不難啦
- 開啟這個檔案,指標移到最後
- 每隔一秒就嘗試readline一下,有內容就打印出來,沒內容就sleep
- 大概就是這麼個意思
監聽檔案
思路如下:
- 用open開啟檔案
- 用seek檔案指標,給大爺把跳到檔案最後面
- while True進行迴圈
持續不停的readline,如果能讀到內容,打印出來即可
程式碼呼之欲出
with open('test.txt') as f: f.seek(0,2) while True: last_pos = f.tell() line = f.readline() if line: print line
程式碼說明
- seek第二個引數2,意思就是從檔案結尾處開始seek,更標準的寫法使用os模組下面的SEEK_END,可讀性更好
- 只寫出了簡單的邏輯,程式碼簡單粗暴,如果這個題目是10分的話,最多也就拿4分吧,不能再多了
優化點
- print有缺陷,每次都是新的一行,換成sys.stdout.write(line)更和諧
- 檔名傳參,不能寫死
- 直接列印可以當成預設行為,具體要做什麼,可以寫成函式處理,這樣我們就可以把新行做其他處理,比如展示在瀏覽器裡
- 加上容錯處理,比如檔案不存在會報錯
- while True一直都檔案,比較耗效能,每讀一次,間隔一秒比較靠譜
- 呼叫time.sleep(1)
- 用類來組織程式碼
例項程式碼如下
#!/usr/bin/env python # -*- coding:utf-8 -*- import sys import time class Tail(): def __init__(self,file_name,callback=sys.stdout.write): self.file_name = file_name self.callback = callback def follow(self): try: with open(self.file_name) as f: f.seek(0,2) while True: line = f.readline() if line: self.callback(line) time.sleep(1) except Exception,e: print '開啟檔案失敗,囧,看看檔案是不是不存在,或者許可權有問題' print e
使用方法:
# 使用預設的sys.stdout.write列印到螢幕 py_tail = Tail('test.txt') py_tail.follow() # 自己定義處理函式 def test_tail(line): print 'xx'+line+'xx' py_tail1 = Tail('test.txt',test_tail) py_tail1.follow()
咦 等等,tail -f 預設還會列印最後10行,這個好像才是這個題目的難點所在,眾所周知,python裡讀檔案指標,只能移動到固定位置,不能判斷是哪一行,囧,先實現簡單的,逐漸加強吧
預設列印最後10行
現在這個程式碼,大概能拿6分啦,我們還有一個功能沒做,那就是列印最後n行,預設是10行,現在把這個功能加上,加一個函式就行啦
檔案小的時候
我們知道,readlines可以獲取所有內容,並且分行,程式碼呼之欲出,獲取list最後10行很簡單有麼有,切片妥妥的
# 演示程式碼,說明核心邏輯,完整程式碼在下面 last_lines = f.readlines()[-10:] for line in last_lines: self.callback(line)
此時程式碼變成這樣了
import sys import time class Tail(): def __init__(self,callback=sys.stdout.write): self.file_name = file_name self.callback = callback def follow(self,n=10): try: with open(self.file_name) as f: self._file = f self.showLastLine(n) self._file.seek(0,2) while True: line = self._file.readline() if line: self.callback(line) except Exception,e: print '開啟檔案失敗,囧,看看檔案是不是不存在,或者許可權有問題' print e def showLastLine(self,n): last_lines = self._file.readlines()[-10:] for line in last_lines: self.callback(line)
更進一步:大的日誌怎麼辦
此時程式碼有7分時很隨意啦,但是如果檔案特別大呢,特別是日誌檔案,很容易幾個G,我們只需要最後幾行,全部讀出來記憶體受不了,所以我們要繼續優化showLastLine函式,我覺得這才是這題的難點所在
大概的思路如下
我先估計日誌一行大概是100個字元,注意,我只是估計一個大概,多了也沒關係,我們只是需要一個初始值,後面會修正
我要讀十行,所以一開始就seek到離結尾1000的位置seek(-1000,2),把最後1000個字元讀出來,然後有一個判斷
如果這1000個字元長度大於檔案長度,不用管了 屬於級別1的情況,直接read然後split
如果1000個字元裡面的換行符大於10,說明1000個字元裡,大於10行,那也好辦,處理思路類似級別1,直接split取後面十個
問題就在於 如果小於10怎麼處理
比如1000個裡,只有四個換行符,說明一行大概是1000/4=250個字元,我們還缺6行,所以我們再讀250*5=1500,一共有2500的大概比較靠譜,然後在對2500個字元進行相同的邏輯判斷,直到讀出的字元裡,換行符大於10,讀取結束
邏輯清晰以後,程式碼就呼之欲出啦
加上註釋的版本
#!/usr/bin/env python # -*- coding:utf-8 -*- import sys import time class Tail(): def __init__(self,n=10): try: # 開啟檔案 with open(self.file_name) as f: self._file = f self._file.seek(0,2) # 儲存檔案的字元長度 self.file_length = self._file.tell() # 列印最後10行 self.showLastLine(n) # 持續讀檔案 列印增量 while True: line = self._file.readline() if line: self.callback(line) time.sleep(1) except Exception,n): # 一行大概100個吧 這個數改成1或者1000都行 len_line = 100 # n預設是10,也可以follow的引數傳進來 read_len = len_line*n # 用last_lines儲存最後要處理的內容 while True: # 如果要讀取的1000個字元,大於之前儲存的檔案長度 # 讀完檔案,直接break if read_len>self.file_length: self._file.seek(0) last_lines = self._file.read().split('\n')[-n:] break # 先讀1000個 然後判斷1000個字元裡換行符的數量 self._file.seek(-read_len,2) last_words = self._file.read(read_len) # count是換行符的數量 count = last_words.count('\n') if count>=n: # 換行符數量大於10 很好處理,直接讀取 last_lines = last_words.split('\n')[-n:] break # 換行符不夠10個 else: # break #不夠十行 # 如果一個換行符也沒有,那麼我們就認為一行大概是100個 if count==0: len_perline = read_len # 如果有4個換行符,我們認為每行大概有250個字元 else: len_perline = read_len/count # 要讀取的長度變為2500,繼續重新判斷 read_len = len_perline * n for line in last_lines: self.callback(line+'\n') if __name__ == '__main__': py_tail = Tail('test.txt') py_tail.follow(20)
效果如下,終於可以列印最後幾行了,大家可以試一下,無論日誌每行只有1個,還是每行有300個字元,都是可以列印最後10行的
能做到這個地步,一般的面試官就直接被你搞定了,這個程式碼大概8分吧,如果還想再進一步,還有一些可以優化的地方,程式碼放github上了,有興趣的可以拿去研究
待優化:留給大家作為擴充套件
- 如果你tail -f的過程中,日誌被備份清空或者切割了,怎麼處理
- 其實很簡單,你維護一個指標位置,如果下次迴圈發現檔案指標位置變了,從最新的指標位置開始讀就行
- 具體每種錯誤的型別
我這裡只是簡單的try 可以寫個函式,把檔案不存在,檔案沒許可權這些報錯資訊分開
效能小優化,比如我第一次讀了1000,只有4行,我大概估計每行250個字元,總體需要2500行,下次沒必要直接讀2500個,而是讀1500行和之前1000行拼起來即可
最後大殺器 如果寫出來這個,基本面試官會直接
打死你
import os def tail(file_name): os.system('tail -f '+file_name) tail('log.log')
總結
以上所述是小編給大家介紹的python實現tail -f 功能,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回覆大家的。在此也非常感謝大家對我們網站的支援!
如果你覺得本文對你有幫助,歡迎轉載,煩請註明出處,謝謝!