hunterchao / dangdang Goto Github PK

本仓库下包括当当网和豆瓣电影信息两个爬虫

当当网

运行文件为run.py,直接在控制台下执行程序，无需cmd命令

该项目详细介绍见知乎专栏：https://zhuanlan.zhihu.com/p/24882919?refer=pythoncrawl

当当网爬取数据部分截图

豆瓣电影信息

GetPage.py文件获取所有电影分类主题。FullContents.py文件进入每个电影主题下，抓取相关电影的详细信息，包括电影名、导演、主演、片长、评价人数、评分等。init.py文件为运行文件。

项目详细介绍可见知乎专栏：https://zhuanlan.zhihu.com/p/24771128?refer=pythoncrawl