一些說明

• 我為什麼要寫這篇文章？

  　　最近報名了中國大學MOOC的嵩天老師的爬蟲課，頗有收穫，決定自己找個大學新聞網站練練手，果然還是碰到了臭名昭著的中文字元處理的問題，特此記錄。

• 這篇文章講什麼？

  　　這篇文章講的是如何把 Python 中的 Dict 轉化為 JSON Object 以及 如何把 List 轉化為 JSON Array，其中 Dict 和 List 中的資料包括中文，並且如何把這些資料在檔案中以正確的方式存入，然後正確地讀入到記憶體中重複使用。關鍵點在於中文字元的處理，這在 Python2 中一度是一個麻煩的問題，到了 Python3 中稍有改善，但還是需要在讀寫時做出一些設定。這裡詳細地講了設定地地方有哪些。

如何實現

問題講清楚了，再多說也無益處，直接上程式碼。

# -*- coding: utf-8 -*-
import json
import requests
from bs4 import BeautifulSoup
import re
import traceback
import codecs

newsList = []
newsDict = {}
r = requests.get('http://news.hunnu.edu.cn/sdxw.htm')
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text
 
,'lxml')
newsInfoTags = soup.find_all(id=re.compile('lineu'))
for item in newsInfoTags:
    elem = item.contents
    # 注意 <class 'bs4.element.NavigableString'> 可自動轉換為str
    # 所以是否把結果用顯式地用str()轉換都可以
    newsDict['tag'] = elem[3].string
    newsDict['title'] = elem[5].string
    newsDict['date'
 
] = elem[7].string
    newsList.append(newsDict)

# 把資料寫入JSON檔案中，注意 'utf8' 必不可少
with codecs.open('newsList.json', 'w', 'utf8') as f:
    # 注意 ensure_ascii=False 必不可少
    f.write(json.dumps(newsList, ensure_ascii=False))

# 從JSON檔案中把資料讀入記憶體，注意 'utf8' 必不可少
with codecs.open('newsList.json', 'r', 'utf8') as f:
    objs = json.loads(f.read())
    print(len(objs))

這裡主要用了兩個 Python 的內建庫，分別是 codecs 和 json，相關使用介紹：

需要注意的地方請參看註釋，大致就是這樣。值得注意的是，json 這個庫特別實用，它可以自動識別 Python/檔案 型別，然後把它轉換為對應的 檔案/Python 型別，這些豐富的庫使得 Python 算得上是唯一一門可以稱得上是超級語言的程式語言了。