不會英語的程式設計師不是好程式設計師 ？但是我知道的是程式設計師就喜歡自己動手幹些實事 ，比如今天教大家自己動手做個有意思的專案——從歷年四級英語真題中獲取詞頻最高的 5000 個詞彙 ，並進行翻譯 ！綜合用到了爬蟲 、資料分析等知識 ，親愛的讀者們不來試試嗎 ?歡迎加入python學習交流q群250933691，分享我精心準備的Python學習資料，0基礎到進階！希望你們在學習Python道路上少走彎路！加油！

程式介紹

這是一個單詞頻率統計程式 ，基於python3 ，我將往年真題按照詞頻排序得到了四級詞庫 ：總結出了 5000 個出現頻率極高的單詞 。

自動批量收集檔案中的英語單詞 txt (utf-8)

統計排序儲存到本地資料庫 voca.db

翻譯英文得到中文解釋

資料庫檔案提取得到csv表格

在結合到大量的往年 cet-4 真題庫的情況下

本軟體成為了考試必備詞庫

希望大家都能輕鬆過四級

工作流程

settings.py 配置查詢文件

work.py 自動分析資料儲存至voca.db資料庫檔案

translate.py 自動開啟資料庫呼叫api翻譯單詞並儲存到資料庫裡

db2csv.py 將資料庫檔案轉換成csv表格檔案

python work.py

python translate.py

python db2csv.py

具體實現

資料 （docx 複雜的文件結構不好用，可以在word裡面以txt方式儲存）

讀入檔案拿到所有單詞

def_open_file(self,filename):#開啟檔案，返回所有單詞list

withopen(filename,'r',encoding='utf-8')asf:

raw_words = f.read()

low_words = raw_words.lower()

words = re.findall('[a-z]+',low_words)#正則re找到所有單詞

returnwords

剔除 常用單詞（is am are do……）

def_filter_words(self,raw_words,count=NUMBERS):#載入未處理的所有單詞列表 和 預設count值

new_words = []

forwordinraw_words:#找出非exclude 和 長度大於1 的單詞 -> new_words

ifwordnotinexclude_listandlen(word) >1:

new_words.append(word)

pass

計數

fromcollectionsimportCounter#計數器

pass

c = Counter(words)#list new_words

returnc.most_common(5000)#拿到出現次數最多的5000單詞，返回從大到小的排序list[(and,1),....]

資料庫初始化 peewee模組

frompeeweeimport*

db = SqliteDatabase('voca.db')

classNewWord(Model):

單詞名

name = CharField()

解釋

explanation = TextField(default='')

詞頻

frequency = IntegerField(default=0)

音標

phonogram = CharField(default='')

classMeta:

database = db

加入單詞到資料庫

definsert_data(self,words_times):

向資料庫內插入資料

forword,freinwords_times:

word_ins = NewWord.create(name = word , frequency = fre)#直接呼叫create

book.is_analyzed =True

book.save()

翻譯

#iciba翻譯函式

deftrans(self, word):

url ='http://www.iciba.com/index.php?a=getWordMean&c=search&word='+ word

try:

req = requests.get(url)

req.raise_for_status()

info = req.json()

data = info['baesInfo']['symbols'][0]

assertinfo['baesInfo']['symbols'][0]

去除沒有音標的單詞

assertdata['ph_am']anddata['ph_en']

去除沒有詞性的單詞

assertdata['parts'][0]['part']

except:

return('none','none')

ph_en ='英 ['+ data['ph_en'] +']'

ph_am ='美 ['+ data['ph_am'] +']'

ex =''

forpartindata['parts']:

ex += part['part'] +';'.join(part['means']) +';'

returnph_en+ph_am, ex

#呼叫翻譯函式，儲存中文到資料庫

foriinNewWord.select():

i.explanation = str(t.trans(i.name)[1])

i.save()

提取所有單詞到csv

importcsv

#提取所有資料庫內容生成迭代物件 yield ~ 好好看看如何使用

defextract()

pass

forwordinNewWord.select():

foriin[word.name, word.explanation, word.frequency]:

datas.append(i)

yielddatas

#儲存函式

defsave(data):

withopen('words.csv','a+', errors='ignore', newline='')asf:

csv_writer = csv.writer(f)

csv_writer.writerow(data)

#主程式

datas = extract()#yeild 迭代物件

whileTrue:

try:

data = next(datas)

except:

break

save(data)

收穫成果啦

翻譯過程

出現次數最多的簡單詞

出現次數較少，值得一背的詞

歡迎加入python學習交流q群250933691，分享我精心準備的Python學習資料，0基礎到進階！希望你們在學習Python道路上少走彎路！加油！