本项目仅供个人开发者学习交流使用，请勿用于非法用途，否则后果自负

具体爬取结果根据当前使用计算机所在网络环境而定

抓取各大代理网站的免费代理，组建代理池，同时已自动附带主流UA(user-agent)池

代理有时效性，建议使用时检测代理可用性再使用，但同时建议爬取频率不要太频繁，如果因为恶意爬取将他人网站搞崩，后果自负

程序流程图

• 程序流程

增加更多的代理网站，以提高可用代理量

利用tessertact-ocr提取部分网站的数据

Python3.7

aiohttp

aioredis

gevent

lxml

bs4

json

ThreadPoolExecutor

flask

pytesseract

安装必须的库

pip install -r requirements.txt

config.py

• 相关配置文件，里面主要是UA，代理网站链接，测试ip的网站，可以自己扩展，根据里面已有的数据格式添加即可

headers.py

• 获取一个随机UA头，自动生成一个请求头

proxy.py

• 主要的逻辑代码，如果config文件代理网站有新增，自行定制对应的解析规则

main.py

• 以flask作为web服务启动文件

根据文字说明操作即可，分了三个方法，第一个是协程式，第二个是线程池，第三个是线程池+异步，自行选择

从数据库调取数据部分，分了两个方法测试代理可用性，第一个是线程池方法，第二个是线程池+异步方法，自行选择

在运行之前自行安装配置redis数据库

在运行之前自行安装配置tesseract引擎

直接按proxy.py文件选择不同方法，取消相关的注释并运行proxy.py文件即可，config.py与headers.py请保证和proxy.py同在一目录下

web方式运行调取的是从redis数据库中取出的数据，如果redis没有数据则先爬取数据再以web方式运行

启动main.py文件，用flask将结果以web页面的方式返回代理池，如果希望搭建在服务器上的话则可以此方式启动

支持自己添加，自己重置UA，设置请求头

支持自己添加需要爬取的代理IP，config.py文件里有说明，自添加爬取的代理IP之后，需要自定制对应的方法，自己设置解析网站和测试代理IP的方法

支持NormalProxy类自定制，自扩展方法