bjptw / workspace Goto Github PK

欢迎来到我的爬虫世界，这里有一些营养套餐，让我慢慢道来。

myheadler 做爬虫第一步，首先想到的是一些基础的反爬虫措施，代理ip是重中之重，浏览器请求头后期爬虫都会写。本爬虫是获取西刺网可用的透明代理ip，请收下这份早餐。

nhb
为了满足某位老司机的动态图需求，喜欢的朋友拿走，也可以当做爬虫模板，因为基础组件都有，该网站没有反爬虫措施，不仅有趣，还可以找回那方面的自信。 该爬虫获取了内涵吧美女.gif图片url，喜欢的记得stat一下

appgif ————用django将nhb存入mysql的gif可视化

jandan ————用BeautifulSoup解析图片url

python爬取斗鱼弹幕——使用多进程向斗鱼api模拟请求获取数据

futurespider————分布式去重爬取51job招聘信息存入mysql的爬虫，后期准备扩展到各个招聘网站

myjob ————采用django读取mysql数据库进行逻辑化的可视化平台，后期做一个综合的招聘信息展示页面

EdmureBlog ——使用django搭建的交互式的个人博客网站，主要功能有用户的登录验证，博客主页，后台管理。