layout: post
title: sae部署bilibili爬蟲
categories: python
tags: spider sae

前端效果

sae準備工作

從本地上傳的爬蟲到sae一直被提示沒有requests模塊，在requirements.txt裏聲明了也不行。起初我以為是這個第三方包被屏蔽了，直到看到sae支持中心-Python共享服務器-運行環境才直到原因：requirements.txt 只在容器雲app裏面才會生效，同理 runtime.txt 也是。因此需要在共享服務器上面使用第三方包的話，只能自己上傳。我通過 ubantu python 2.7.6 使用pip install -t vendor requests

bilibili-Getcoin

B站只要登錄一下就可以獲得當日的一硬幣，在爬蟲界這算是非常簡單的了。我之前嘗試用國外的某ae來爬B站，得到503錯誤（403？），國外訪問B站是要梯子的。
code:

# -*- coding: utf-8 -*-
"""
requests學習實戰
"""
import requests
url = 'https://account.bilibili.com/site/getCoin'
 


headers = {}
cookies = {}
with requests.Session() as s:
r = s.get(url,headers=headers,cookies=cookies)
print r.status_code
bjson = r.json()
#print bjson.keys()
print bjson[u'data'] 

print 'over!'

以上。

SAE 部署 bilibili 爬蟲