詞頻統計及其效能分析
學號:2017035101045
姓名:趙麗媛
我的碼雲倉庫:https://gitee.com/zhaowencheng/word_frequency/branches
一.程序分析,對程序中的四個函數做簡要說明。要求附上每一段代碼及對應的說明。
第一段 讀文件到緩沖區
def process_file(dst): # 讀文件到緩沖區
try: # 打開文件
f = open(A_Tale_of_Two_Cities, ‘r‘)
except IOError as s:
print(s)
return None
try: # 讀文件到緩沖區
bvffer = f.read()
except:
print("Read File Error!")
f.close()
return bvffer
第二段 對緩沖區進行處理
def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加處理緩沖區 bvffer代碼,統計每個單詞的頻率,存放在字典word_freq
bvffer = bvffer.lower()
for ch in ‘“‘!;,.?”‘:
bvffer = bvffer.lower().replace(ch, " ")
words = bvffer.strip().split()
for word in words:
word_freq[word] = word_freq.get(word, 0)+1 #讀取到的單詞存放到字典
return word_freq
第三段 輸出詞頻前十的單詞
def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 輸出 Top 10 的單詞
print(item[0],item[1])
第四段 對之前的函數進行整合
if name == "main":
import argparse
parser = argparse.ArgumentParser()
args = parser.parse_args()
dst = args.dst
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)
二、性能分析結果及改進情況
執行未優化前時間
執行優化後
(1)程序運行命令、運行結果截圖
三、總結反思
知識匱乏,針對本次作業我通過百度學到了很過東西.
詞頻統計及其效能分析