自制簡單的詩歌搜索系統
阿新 • • 發佈：2019-02-12
.data handlers 網頁 regexp mozilla mon 用戶 爬蟲 ==
項目簡介
??本文將介紹一個筆者自己的項目：自制簡單的詩歌搜索系統。該系統主要的實現功能如下：指定一個關鍵詞，檢索出包含這個關鍵詞的詩歌，比如關鍵詞為“白雲”，則檢索出的詩歌可以為王維的《送別》，內容為“下馬飲君酒，問君何所之？君言不得意，歸臥南山陲。但去莫復問，白雲無盡時。”
??該項目使用的Python模塊為：
- requests
- BeautifulSoup
- pymongo
- tornado
其中，requests模塊和BeautifulSoup模塊用來制作爬蟲，爬取網上的詩歌。pymongo模塊用來將爬取的詩歌寫入到MongoDB數據庫。tornado模塊用於網頁端展示。
??該項目主要分以下三步實現：
- 收集數據：使用爬蟲，爬取網上的詩歌作為項目的數據集；
- 存入數據庫：將爬取到的詩歌寫入到MongoDB數據庫；
- 網頁展示：利用tornado框架實現詩歌搜索功能。
該項目的結構如下：
數據收集
??首先，我們利用Python爬蟲來爬取詩歌，存為CSV文件poem.csv。爬取的網址為：https://www.gushiwen.org 。由於僅是展示該項目的思路，因此，只爬取了該頁面中的唐詩三百首、古詩三百、宋詞三百、宋詞精選，一共大約1100多首詩歌。
??實現該爬蟲的代碼文件為poem_scrape.py，代碼如下：
# -*- coding: utf-8 -*- import re import requests from bs4 import BeautifulSoup import pandas as pd # 爬取的詩歌網址 urls = [‘https://www.gushiwen.org/gushi/tangshi.aspx‘, ‘https://www.gushiwen.org/gushi/sanbai.aspx‘, ‘https://www.gushiwen.org/gushi/songsan.aspx‘, ‘https://www.gushiwen.org/gushi/songci.aspx‘ ] poem_links = [] # 詩歌的網址 for url in urls: # 請求頭部 headers = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36‘} req = requests.get(url, headers=headers) soup = BeautifulSoup(req.text, "lxml") content = soup.find_all(‘div‘, class_="sons")[0] links = content.find_all(‘a‘) for link in links: poem_links.append(link[‘href‘]) # print(poem_links) # print(len(poem_links)) content_list = [] title_list = [] dynasty_list = [] poet_list = [] # 爬取詩歌頁面 def get_poem(url): #url = ‘https://so.gushiwen.org/shiwenv_45c396367f59.aspx‘ # 請求頭部 headers = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36‘} req = requests.get(url, headers=headers) soup = BeautifulSoup(req.text, "lxml") # 詩歌內容 poem = soup.find(‘div‘, class_=‘contson‘).text.strip() poem = poem.replace(‘ ‘, ‘‘) poem = re.sub(re.compile(r"\([\s\S]*?\)"), ‘‘, poem) poem = re.sub(re.compile(r"（[\s\S]*?）"), ‘‘, poem) poem = re.sub(re.compile(r"。\([\s\S]*?）"), ‘‘, poem) poem = poem.replace(‘!‘, ‘！‘).replace(‘?‘, ‘？‘).replace(‘\n‘, ‘‘) content = poem if content: content_list.append(content) else: content_list.append(‘‘) # 詩歌朝代，詩人 dynasty_poet = soup.find(‘p‘, class_=‘source‘).text if ‘：‘ in dynasty_poet: dynasty, poet = dynasty_poet.split(‘：‘) else: dynasty, poet = ‘‘, ‘‘ dynasty_list.append(dynasty) poet_list.append(poet) # 詩歌標題 title = soup.find(‘h1‘).text if title: title_list.append(title) else: title_list.append(‘‘) # 爬取詩歌 for url in poem_links: get_poem(url) # 寫入至csv文件 df = pd.DataFrame({‘title‘: title_list, ‘dynasty‘: dynasty_list, ‘poet‘: poet_list, ‘content‘: content_list }) print(df.head()) df.to_csv(‘./poem.csv‘, index=False)
儲存的poem.csv的前幾行如下：
數據庫
??數據收集完畢後，我們需要將這些數據出訪到數據庫中，便於後續的調用，在這裏選擇MongoDB。利用文件write2mongodb.py文件可以將剛才爬取到的詩歌存放至MongoDB數據庫中，完整的代碼如下：
import pandas as pd from pymongo import MongoClient # 連接MongoDB conn = MongoClient(‘mongodb://localhost:27017/‘) db = conn["test"] # 插入詩歌 df = pd.read_csv(‘poem.csv‘) columns = [‘title‘, ‘dynasty‘, ‘poet‘, ‘content‘] for i in range(df.shape[0]): print(i) row = df.iloc[i, :] db.poem.insert(dict(zip(columns, row[columns])))
??不到一分鐘，我們可以看到MongoDB中的內容如下：
前端展示
??準備好數據集後，我們需要可視化地展示詩歌檢索功能，我們選擇tornado這個框架來實現。詩歌檢索功能為：指定一個關鍵詞，檢索出包含這個關鍵詞的詩歌。關鍵詞由用戶輸入，提交HTTP請求，在後臺實現詩歌檢索功能，然後在前端頁面展示出來。
??實現的server.py的代碼如下：
# -*- coding: utf-8 -*-
import random
import os.path
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
from tornado.options import define, options
from pymongo import MongoClient
# 連接MongoDB
conn = MongoClient(‘mongodb://localhost:27017/‘)
coll = conn["test"].poem
#定義端口為8000
define("port", default=8000, help="run on the given port", type=int)
# GET請求
class QueryHandler(tornado.web.RequestHandler):
# get函數
def get(self):
self.render(‘query.html‘)
# POST請求
# POST請求參數：query_string
class ResultHandler(tornado.web.RequestHandler):
# post函數
def post(self):
query = self.get_argument(‘query_string‘)
res = list(coll.find({‘content‘: {‘$regex‘: query}}))
if len(res) > 0:
result = random.sample(res, 1)[0]
del result["_id"]
title = result[‘title‘]
dynasty = result[‘dynasty‘]
poet = result[‘poet‘]
content = result[‘content‘]
else:
title = ‘‘
dynasty = ‘‘
poet = ‘‘
content = ‘‘
self.render(‘result.html‘, query=query, title=title, dynasty=dynasty, poet=poet, content=content)
# 主函數
def main():
tornado.options.parse_command_line()
# 定義app
app = tornado.web.Application(
handlers=[(r‘/query‘, QueryHandler), (r‘/result‘, ResultHandler)], #網頁路徑控制
template_path=os.path.join(os.path.dirname(__file__), "templates") # 模板路徑
)
http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
main()其中，query路徑對應的網頁query.html的代碼如下：
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>Poem Query</title>
</head>
<body>
<h2>請輸入查詢</h2>
<form method="post" action="/result">
<p>包含文字: <input type="text" name="query_string"></p>
<input type="submit">
</form>
</body>
</html>result路徑對應的網頁result.html如下：
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>Result</title>
<script>
//highlight query word in the page
function Func(){
var query = document.getElementById("query").innerHTML;
query = query.split(‘：‘)[1];
if(query == ‘‘){alert(‘查詢詞為空!‘)}
else{
document.getElementById("result").innerHTML = document.getElementById("result").innerHTML.replace(new RegExp(query,‘g‘),‘<mark>‘+query+‘</mark>‘);
}
}
</script>
</head>
<body>
<font color="red"><p id="query">查詢詞：{{query}}</p></font>
<p>標題：{{title}}</p>
<p>朝代：{{dynasty}}</p>
<p>詩人：{{poet}}</p>
<p id="result">內容：{{content}}</p>
<a href="/query"><button type="button">返回</button></a>
<button type="button" onclick="Func()">查詢詞高亮</button>
</body>使用示例
??運行server.py, 在瀏覽器中輸入網址：http://localhost:8000/query ，界面如下：
在其中輸入搜索關鍵詞，比如“白雲”，則會顯示一條隨機的結果，如下：
點擊“查詢詞高亮”，則查詢詞部分會高亮顯示。
總結
??本項目僅為展示詩歌檢索的一種實現思路，仍有許多功能還待完善，後續將進一步補充實現。本項目的github地址為：https://github.com/percent4/Poem-Search 。
註意：本人現已開通微信公眾號： Python爬蟲與算法（微信號為：easy_web_scrape）， 歡迎大家關註哦~~
自制簡單的詩歌搜索系統