session
requests
生成器
token (模块已添加,目前诸葛io响应没有token)
asyncio
aiohttp
通过ajax 接口获取所有用户id,通过用户id获取用户数据
用户基础数据,解析存储
单个用户具体数据,解析存储
1.模拟登录,保持session
2.异步协程获取所以用户数据,保存json文件
3.过滤用户数据保存csv文件
src/main/python/user_info
client.py 模拟用户登录诸葛io
config.py 配置请求诸葛io的url, 存储csv 格式定义, 存储json定义
crawl.py 诸葛io 用户数据爬取,解析,存储json
filterinfo.py 过滤json 数据存储 csv文件
ftp.py csv文件上传ftp服务器
exception.py 自定义异常
docker-compose up -d
1.返回非json数据 text/html
策略:
1.1 请求加头
1.2 延时,重新请求