python定期爬取GitHub上每日流行專案
阿新 • • 發佈:2018-12-30
介紹一個在GitHub上看到的通用的python爬蟲,難度不大,是一個蠻好玩的點,順便總結一下python爬蟲的一些需要注意的點。
先上鍊接:github原始碼
1. 專案簡介
隨時關注最新的技術動向,永遠是一個程式設計師應該做到的,但我們不能做到每天去檢視,於是就誕生了這個repo(更正為原作者寫了這個repo),我們將爬蟲掛在Linux伺服器上,定期爬取並且推送到自己的repo上,只要有時間,就可以看到之前的所有熱門專案。
順便說一句這樣是不是還可以刷一波GitHub commit
程式碼po在了最後面
2. 關於python的私人總結
使用python開發爬蟲的時候需要注意哪些?
1.區分python版本
python 2.x 3.x 差別很大,如果遇到就編譯通不過,及早意識到進行修正還好,若是語法差別不大卻沒有意識到,有時候會給自己惹來很大的麻煩
2.關注幾種易於混淆的資料型別
- Tuples
- Lists
- Dictionary
- Json
需要格外關注這幾種型別之間的轉換,我們知道python是一種弱資料型別語言,但不代表著它的資料型別可以混用,反而,正因為弱化了宣告,才讓有些操作更加容易出錯,這時候我們需要做的,就是仔細閱讀文件,熟悉不同的用法。
3.注意合理使用第三方類庫
python相對於java等語言,最大的優勢就在於其具有很大規模的封裝良好的類庫,可以讓我們使用短短的幾行程式碼,實現很多功能。這裡列舉幾個常用的庫和框架:
- virtualenv 建立獨立 Python 環境的工具。
- Beautiful Soup 提供一些簡單的、python式的函式用來處理導航、搜尋、修改分析樹等功能 簡單的說就是解析網頁
3. 程式碼
下面是註釋版程式碼,python2.7 用了requests PyQuery等幾個類庫
程式碼寫的比較明確了,就沒有過多註釋
#!/usr/local/bin/python2.7
# coding:utf-8
import datetime
import codecs
import requests
import os
import time
from pyquery import PyQuery as pq
#git操作 推送到遠端repo
def git_add_commit_push(date, filename):
cmd_git_add = 'git add .'
cmd_git_commit = 'git commit -m "{date}"'.format(date=date)
cmd_git_push = 'git push -u origin master'
os.system(cmd_git_add)
os.system(cmd_git_commit)
os.system(cmd_git_push)
def createMarkdown(date, filename):
with open(filename, 'w') as f:
f.write("###" + date + "\n")
def scrape(language, filename):
HEADERS = {
'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.7; rv:11.0) Gecko/20100101 Firefox/11.0',
'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding' : 'gzip,deflate,sdch',
'Accept-Language' : 'zh-CN,zh;q=0.8'
}
url = 'https://github.com/trending/{language}'.format(language=language)
r = requests.get(url, headers=HEADERS)
assert r.status_code == 200
# print(r.encoding)
d = pq(r.content)
items = d('ol.repo-list li')
# codecs to solve the problem utf-8 codec like chinese
with codecs.open(filename, "a", "utf-8") as f:
f.write('\n####{language}\n'.format(language=language))
for item in items:
i = pq(item)
title = i("h3 a").text()
owner = i("span.prefix").text()
description = i("p.col-9").text()
url = i("h3 a").attr("href")
url = "https://github.com" + url
# ownerImg = i("p.repo-list-meta a img").attr("src")
# print(ownerImg)
f.write(u"* [{title}]({url}):{description}\n".format(title=title, url=url, description=description))
#定時爬取對應語言的並寫入到markdown文字中
def job():
strdate = datetime.datetime.now().strftime('%Y-%m-%d')
filename = '{date}.md'.format(date=strdate)
# create markdown file
createMarkdown(strdate, filename)
# write markdown
scrape('python', filename)
scrape('swift', filename)
scrape('javascript', filename)
scrape('go', filename)
scrape('Objective-C', filename)
scrape('Java', filename)
scrape('C++', filename)
scrape('C#', filename)
# git add commit push
git_add_commit_push(strdate, filename)
#主函式
if __name__ == '__main__':
while True:
job()
time.sleep(12 * 60 * 60)
4. 擴充套件及埋坑 下集預告
這裡分享幾個python相關的重要連結,看了一定會有收穫(尤其是前兩者),而且很大,沒效果你回來打我(匿
下面準備把oschina一個類似的東西一塊爬一下,push到repo裡
接下來準備寫一個爬取學校教務系統驗證碼並訓練識別的文章,敬請期待。
歡迎各位在評論區批評指正 若是覺得碼字不易,也可以讚賞啊Orz