网站废弃了，项目重构了一部分，爬虫可以用 爬虫可以下载bilibili漫画 python使用3.8
这几天发现好像访问不了显示不了漫画了，我特地查了一下网易163的漫画确实访问不了，原因是图片地址加密访问的NOSAccessKeyId换了，所以据我观察，这个NOSAccessKeyId应该会定期更换，所以我也更新了一下，果然又好使了，有空再写教程吧，所以持续关注我，给我start哦~~~
有几个漫画网站的域名变更了，相应的修改的部分代码
DROP TABLE IF EXISTS `comic`;
CREATE TABLE `comic` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`comic_id` int(11) NOT NULL,
`author` varchar(50) DEFAULT NULL,
`name` varchar(50) DEFAULT NULL,
`intr` varchar(500) DEFAULT NULL,
`last_short_title` varchar(100) DEFAULT NULL,
`cover` varchar(100) NOT NULL,
`comic_url` varchar(100) DEFAULT NULL,
`comic_type` varchar(20) DEFAULT NULL,
`styles` varchar(200) DEFAULT NULL,
`isDelete` tinyint(1) NOT NULL DEFAULT '0',
PRIMARY KEY (`id`)
-- ,UNIQUE KEY `unique_key` (`comic_id`)
) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8;
DROP TABLE IF EXISTS `comic_chapter`;
CREATE TABLE `comic_chapter` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`comic_id` int(11) NOT NULL,
`chapter_id` int(11) NOT NULL,
`short_title` varchar(100) DEFAULT NULL,
`urls` LONGTEXT DEFAULT NULL,
`paths` LONGTEXT DEFAULT NULL,
`title` varchar(400) DEFAULT NULL,
`pub_time` datetime DEFAULT NULL,
`isDelete` tinyint(1) NOT NULL DEFAULT '0',
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8;
scrapy配置mysql,在文件/comicscrapy/comicscrapy/settings.py里面配置
# MONGODB 主机名
MYSQL_HOST = "127.0.0.1"
# MONGODB 端口号
MYSQL_PORT = 3306
# 数据库名称
MYSQL_DBNAME = "comic"
# 存放数据的表名称
MYSQL_TABLENAME = "comic"
MYSQL_USER='root'
MYSQL_PASSWD='123456'
Django配置mysql,在文件/comicweb/comicweb/settings.py里面配置
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': 'comic',
'USER': 'root',
'PASSWORD': '123456',
'HOST': 'localhost',
'PORT': '3306',
}
}comic
├── comicspider
│ ├── comicscrapy
│ │ ├── comicscrapy
│ │ │ ├── __init__.py
│ │ │ ├── items.py
│ │ │ ├── middlewares.py
│ │ │ ├── pipelines.py
│ │ │ ├── settings.py
│ │ │ └── spiders
│ │ │ ├── __init__.py
│ │ │ ├── manhua163.py
│ │ ├── scrapy.cfg
│ │ ├── scrapy.log
│ │ └── start.py
│ └── comicspider
│ ├── __init__.py
│ ├── settings.py
│ ├── spiderfactory.py
│ └── spiders.py
├── comicweb
│ ├── comic
│ │ ├── admin.py
│ │ ├── __init__.py
│ │ ├── migrations
│ │ │ ├── 0001_initial.py
│ │ │ ├── 0002_auto_20181204_1607.py
│ │ │ ├── 0003_auto_20181204_1818.py
│ │ │ ├── 0004_auto_20181204_1906.py
│ │ │ ├── 0005_auto_20181204_1909.py
│ │ │ ├── 0006_auto_20181204_2017.py
│ │ │ ├── __init__.py
│ │ ├── models.py
│ │ ├── tests.py
│ │ ├── urls.py
│ │ ├── views.py
│ ├── comicspider
│ │ ├── __init__.py
│ │ ├── settings.py
│ │ ├── spiderfactory.py
│ │ ├── spiders.py
│ ├── comicweb
│ │ ├── __init__.py
│ │ ├── settings.py
│ │ ├── urls.py
│ │ ├── wsgi.py
│ ├── manage.py
│ ├── start.py
│ ├── static
│ │ ├── comic
│ │ │ ├── chapterContent.html
│ │ │ ├── comicInfo.html
│ │ │ ├── css
│ │ │ │ ├── global.css
│ │ │ │ ├── ...
│ │ │ │ └── view.css
│ │ │ ├── images
│ │ │ │ ├── 039ac725a6d64215a61c3d8a9edf9faa.png
│ │ │ │ ├── 14927c3dd7844200b520e910b993769e.png
│ │ │ │ ├── ...
│ │ │ │ └── view-logo-read.png
│ │ │ ├── img
│ │ │ ├── script
│ │ │ │ ├── common.js
│ │ │ │ ├── jquery-1.9.1.min.js
│ │ │ │ ├── jquery.cookie.js
│ │ │ │ ├── jquery.min.js
│ │ │ │ ├── ...
│ │ │ │ └── TSB.js
│ │ │ └── test.html
│ │ └── test
│ │ ├── css
│ │ │ └── toPage.css
│ │ ├── index.html
│ │ └── script
│ │ ├── jquery.min.js
│ │ └── toPage.js
│ ├── templates
│ │ └── comic
│ │ ├── chapterContent.html
│ │ ├── comicInfo.html
│ │ ├── index.html
│ │ ├── search.html
│ │ └── test.html
│ └── uwsgi.ini
└── requirements.txt
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent