1. 程式人生 > 實用技巧 >爬蟲+django,打造個性化API介面

爬蟲+django,打造個性化API介面

簡述

今天也是同事在做微信小程式的開發,需要音樂介面的測試,可是用網易雲的開放介面比較麻煩,也不能進行測試,這裡也是和我說了一下,所以就用爬蟲寫了個簡單網易雲歌曲URL的爬蟲,把資料存入mysql資料庫,再利用django封裝裝了一個簡單的API介面,給同事測試使用。

原理

建立django專案,做好基礎的配置,在views裡寫兩個方法,一個是從mysql資料庫中查資料然後封裝成API,一個是爬蟲方法,資料扒下來以後,通過django的ORM把資料插入到mysql資料庫中。
這裡的路由也是對應兩個,一個是爬蟲的請求路由(就是執行路由),一個是介面路由,MODEL層裡也是為了方便,就設了兩個欄位,一個是歌曲名稱,一個是URL地址。

程式碼如下

views檔案程式碼

from django.shortcuts import render,HttpResponse
import requests
from lxml import etree
from .models import Api
# Create your views here.
def api_wy(request):
    api = Api.objects.all()
    return render(request, "index.html",locals())

def pc(request):
    url = 'https://music.163.com/discover/toplist?id=3779629'
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'
    }
    data = requests.get(url=url, headers=headers)
    html = etree.HTML(data.text)
    music_list = html.xpath('//ul[@class="f-hide"]/li/a')

    music_lis = []  # 存放歌曲資訊
    for music in music_list:
        music_name = music.xpath('./text()')[0]  # 獲取歌曲名稱
        music_id_all = music.xpath('./@href')[0]  # 獲取a標籤內容
        music_id = music_id_all.split('=')[-1]  # 將a標籤內容進行資料清洗,提取歌曲的id
        download_music = music_name + ' ' + f'http://music.163.com/song/media/outer/url?id={music_id}.mp3'  # 將歌曲名稱和url進行拼接
        music_lis.append(download_music)
        print(download_music)

    for url in music_lis:
        try:
            url_name = url.split(' ')[0]  # 獲取名稱
            url_music = url.split(' ')[1]  # 獲取url
            Api.objects.create(name=url_name,url=url_music)
            print("正在插入資料")
        except:
            print("charushibai")
    return HttpResponse("正在下載")

URL路由檔案

from django.contrib import admin
from django.urls import path
from api.views import api_wy,pc

urlpatterns = [
    path('admin/', admin.site.urls),
    path('api/',api_wy),
    path("pc/",pc),
]

Models層面

from django.db import models

# Create your models here.
class Api(models.Model):
    name = models.CharField('歌曲名稱', max_length=100)
    url = models.CharField("歌曲地址",max_length=300)

    class Meta:
        verbose_name = '歌曲API'
        verbose_name_plural = verbose_name

    def __str__(self):
        return self.name

其他的也就沒什麼可說的了,也是一個比較簡單的測試需求,就是為了省點事情才弄得
好了,今天就到這了,拜拜