longtailneighbor / spider_for_creditchina_ms Goto Github PK

感谢银龙的前半部分getchild代码

后半部分加入了自己写的网页解析与插入代码，效果还待检查

###spider_for_creditChina_ms-第二版

引用了银龙获取childlink部分（post）

重写页面解析，报错逻辑

新增自动日志功能

代码为SpiderFCIjhon.py单个文件，暂时未分开

###spider_for_creditChina_ms-第三版

上传脚本SpiderFCIjhon_proxy0.2.py ，代码也未分开

加入了代理（能自检，自动获取代理ip）

###spider_for_creditChina_ms-第四版

SpiderFCIjhon_proxy0.3.py 代码未分开

由于很多名称本来就没有查询结果，所以对每次查询都加了日志功能，能看到链接，能看到编号

减少了插入函数等待时间，新增了循环等待时间

综合来看，速度得到大幅提升，今晚测试下能爬下多少数据

###spider_for_creditChina_ms-第五版

加入了阻塞，有两种阻塞(pool.close,pool.join)，一种pool.map：一组数据，的一种pool.apply：单个数据，zip(list,array)