scrapy漫畫爬蟲+django頁面展示專案
阿新 • • 發佈:2018-12-17
comic
這裡主要包括兩大部分:
程式碼已經放在GitHub上,GitHub有更詳細的說明
流溪閣線上漫畫
感覺還不錯的請fork,star
配置mysql
DROP TABLE IF EXISTS `comic`; CREATE TABLE `comic` ( `id` int(11) NOT NULL AUTO_INCREMENT, `author` varchar(50) NOT NULL, `name` varchar(50) NOT NULL, `intr` varchar(500) NOT NULL, `cover` varchar(100) NOT NULL, `comic_url` varchar(100) DEFAULT NULL, `comic_type` varchar(20) NOT NULL, `comic_type2` varchar(20) NOT NULL, `collection` int(11) NOT NULL, `recommend` int(11) NOT NULL, `praise` bigint(20) DEFAULT NULL, `roast` bigint(20) NOT NULL, `last_update_chapter` varchar(50) NOT NULL, `last_update_time` datetime NOT NULL, `status` tinyint(1) NOT NULL DEFAULT '1', `add_time` datetime NOT NULL, `isDelete` tinyint(1) NOT NULL DEFAULT '0', PRIMARY KEY (`id`), UNIQUE KEY `unique_key` (`name`,`author`) ) ENGINE=InnoDB AUTO_INCREMENT=1837 DEFAULT CHARSET=utf8;
scrapy配置mysql,在檔案/comicspider/comicscrapy/comicscrapy/settings.py裡面配置
# MONGODB 主機名
MYSQL_HOST = "127.0.0.1"
# MONGODB 埠號
MYSQL_PORT = 3306
# 資料庫名稱
MYSQL_DBNAME = "comic"
# 存放資料的表名稱
MYSQL_TABLENAME = "comic"
MYSQL_USER='root'
MYSQL_PASSWD='123456'
Django配置mysql,在檔案/comicweb/comicweb/settings.py裡面配置
DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'comic', 'USER': 'root', 'PASSWORD': '123456', 'HOST': 'localhost', 'PORT': '3306', } }
程式碼總覽
comic ├── comicspider │ ├── comicscrapy │ │ ├── comicscrapy │ │ │ ├── __init__.py │ │ │ ├── items.py │ │ │ ├── middlewares.py │ │ │ ├── pipelines.py │ │ │ ├── settings.py │ │ │ └── spiders │ │ │ ├── __init__.py │ │ │ ├── manhua163.py │ │ ├── scrapy.cfg │ │ ├── scrapy.log │ │ └── start.py │ └── comicspider │ ├── __init__.py │ ├── settings.py │ ├── spiderfactory.py │ └── spiders.py ├── comicweb │ ├── comic │ │ ├── admin.py │ │ ├── __init__.py │ │ ├── migrations │ │ │ ├── 0001_initial.py │ │ │ ├── 0002_auto_20181204_1607.py │ │ │ ├── 0003_auto_20181204_1818.py │ │ │ ├── 0004_auto_20181204_1906.py │ │ │ ├── 0005_auto_20181204_1909.py │ │ │ ├── 0006_auto_20181204_2017.py │ │ │ ├── __init__.py │ │ ├── models.py │ │ ├── tests.py │ │ ├── urls.py │ │ ├── views.py │ ├── comicspider │ │ ├── __init__.py │ │ ├── settings.py │ │ ├── spiderfactory.py │ │ ├── spiders.py │ ├── comicweb │ │ ├── __init__.py │ │ ├── settings.py │ │ ├── urls.py │ │ ├── wsgi.py │ ├── manage.py │ ├── start.py │ ├── static │ │ ├── comic │ │ │ ├── chapterContent.html │ │ │ ├── comicInfo.html │ │ │ ├── css │ │ │ │ ├── global.css │ │ │ │ ├── ... │ │ │ │ └── view.css │ │ │ ├── images │ │ │ │ ├── 039ac725a6d64215a61c3d8a9edf9faa.png │ │ │ │ ├── 14927c3dd7844200b520e910b993769e.png │ │ │ │ ├── ... │ │ │ │ └── view-logo-read.png │ │ │ ├── img │ │ │ ├── script │ │ │ │ ├── common.js │ │ │ │ ├── jquery-1.9.1.min.js │ │ │ │ ├── jquery.cookie.js │ │ │ │ ├── jquery.min.js │ │ │ │ ├── ... │ │ │ │ └── TSB.js │ │ │ └── test.html │ │ └── test │ │ ├── css │ │ │ └── toPage.css │ │ ├── index.html │ │ └── script │ │ ├── jquery.min.js │ │ └── toPage.js │ ├── templates │ │ └── comic │ │ ├── chapterContent.html │ │ ├── comicInfo.html │ │ ├── index.html │ │ ├── search.html │ │ └── test.html │ └── uwsgi.ini └── requirements.txt
專案原始碼已放置GitHub上----傳送門
希望看完給我點贊,star
我的GitHub
QQ:2541692705
郵箱:[email protected]
我想去流浪,我想去讀書,若有機會,江湖再見
掃一掃,領取紅包,就當獎勵你我付出的努力