1. 程式人生 > >詞頻統計及其效能分析

詞頻統計及其效能分析

讀文件 分享 行處理 dst 分析 rip strip true 單詞

學號:2017035101045

姓名:趙麗媛

我的碼雲倉庫:https://gitee.com/zhaowencheng/word_frequency/branches

一.程序分析,對程序中的四個函數做簡要說明。要求附上每一段代碼及對應的說明。
第一段 讀文件到緩沖區

def process_file(dst): # 讀文件到緩沖區
try: # 打開文件
f = open(A_Tale_of_Two_Cities, ‘r‘)
except IOError as s:
print(s)
return None
try: # 讀文件到緩沖區
bvffer = f.read()
except:
print("Read File Error!")

return None
f.close()
return bvffer

  第二段 對緩沖區進行處理

def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加處理緩沖區 bvffer代碼,統計每個單詞的頻率,存放在字典word_freq
bvffer = bvffer.lower()
for ch in ‘“‘!;,.?”‘:
bvffer = bvffer.lower().replace(ch, " ")
words = bvffer.strip().split()
for word in words:
word_freq[word] = word_freq.get(word, 0)+1 #讀取到的單詞存放到字典

    return word_freq

 第三段 輸出詞頻前十的單詞

def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 輸出 Top 10 的單詞
print(item[0],item[1])

 第四段 對之前的函數進行整合

if name == "main":
import argparse
parser = argparse.ArgumentParser()

parser.add_argument(‘dst‘)
args = parser.parse_args()
dst = args.dst
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)

二、性能分析結果及改進情況

執行未優化前時間

技術分享圖片

執行優化後

技術分享圖片

(1)程序運行命令、運行結果截圖

技術分享圖片

三、總結反思

知識匱乏,針對本次作業我通過百度學到了很過東西.

詞頻統計及其效能分析