beastwn / python-web-scraping Goto Github PK

python爬虫实战日记

本仓库记录零基础学习python爬虫，所有探索与尝试
仓库地址：https://github.com/LUCY78765580/Python-web-scraping
(相应博客地址：https://zhuanlan.zhihu.com/Waking-up)

一、入门篇
糗事百科：https://github.com/LUCY78765580/Python-web-scraping/blob/master/QSBK.py
百度帖吧：https://github.com/LUCY78765580/Python-web-scraping/blob/master/tieba.py
pixabay图片网站：https://github.com/LUCY78765580/Python-web-scraping/blob/master/pixabay.py
pexels图片网站：https://github.com/LUCY78765580/Python-web-scraping/blob/master/pexels.py
info社区：https://github.com/LUCY78765580/Python-web-scraping/blob/master/BoLiBei.py
教务网：https://github.com/LUCY78765580/Python-web-scraping/blob/master/JWCJ.py
拉勾：https://github.com/LUCY78765580/Python-web-scraping/tree/master/LaGou
豆瓣：https://github.com/LUCY78765580/Python-web-scraping/tree/master/DouBan

二、进阶篇
抓取手机App数据：https://github.com/LUCY78765580/Python-web-scraping/tree/master/TouTiao
断点续爬：https://github.com/LUCY78765580/Python-web-scraping/tree/master/ZhiHu1

三、框架篇（Scrapy)
scrapy爬多级网页及图片（一般方法）：https://github.com/LUCY78765580/Python-web-scraping/tree/master/XiaoHua
scrapy爬多级网页及图片（ImagesPipeline)：https://github.com/LUCY78765580/Python-web-scraping/tree/master/XiaoHua2
scrapy之存储：
App抓取并存入MongoDB：https://github.com/LUCY78765580/Python-web-scraping/tree/master/TouTiao
  断点续爬并存入MySQL ：https://github.com/LUCY78765580/Python-web-scraping/tree/master/ZhiHu1

其它待更