Git Product home page Git Product logo

python-jmtt's Introduction

Python-禁漫天堂爬虫

此项目为本人第一个Python爬虫项目,如有不足,请多担待。

Python-禁漫天堂爬虫已经打包成exe文件

使用时需自备代理

最终结果展示:

image

新增功能:

1.可下载单本漫画及其目录

方法如下:(想要爬取的页数输入1即可)

image image image image

2.对反扒处理辨别更加准确(基本100%了)

3.修复爬取量过大时,exe自动闪退(只要你梯子不断连20s以上,就保证能完成任务)

这里推荐使用Clash代理,会自动测试url连通性并切换到最快的那个

4.增加随机useragent功能

5.爬取完成后exe文件自动关闭

6.链接通用性增加

只要是使用禁漫天堂右上角搜索到的然后复制上面的链接都可以

主要功能如下:

1.可爬取每个分类里的所有漫画

image

2.可自己控制所爬的页数(也可控制想爬的分类)

连接类型

https://18comic.vip/search/photos?search_query=%E7%84%A1%E4%BF%AE%E6%AD%A3&page=2

类似于这种,去掉后面的(&page=2)的链接类型也可以

3.有分类的会自动爬取

4.直接下载到所指定目录

5.对网站新出的反扒机制进行判断:

哪些漫画被进行了反爬处理,哪些没有被进行反扒处理

6.对新的反扒图片进行处理,使其更改为正常图片

7.可指定对需要反扒处理的漫画保存路径(与不需要处理的是分开的)

8.此代码为本人一时兴起所写并且本人为新手,代码有很多不足,许多方面没有处理好,有需要的可自己进行优化使用

9.没有加入多线程、多进程、随机user-agent、代理ip池等功能(后续可能会更新也可能不会)

10.使用时需要自行安装模块

11.代码讲解放在注释里了自行查看

使用步骤

image

注意:复制后需要将符号' \ '改为' / '再进行输入,变成D:/Adults/漫画/

----------------图中忘记加/了,切记切记切记!(最后面不加/保存会有点问题。。)

就是变成这样

image

image

image

image

image

image

输入四个变量后按回车即可,exe没有东西出现是正常现象,漫画会自动放到输入的路径里

最后enjoy!

使用此代码即默认同意不可用于商业用途,如果过度使用出现追责与刑事纠纷本人不负任何责任。

python-jmtt's People

Contributors

andredommond avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.