淘宝爬虫

抓取商品的关键字

• 商品的id
• 店铺id
• 商品的url
• 商品价格
• 商品的销量
• 商品的名称
• 店铺名字
• 店铺地址

抓取评论的关键字

• 用户的id
• 用户购买的商品分类
• 用户的评论

抓取原理

• 利用selenium模拟访问，获取指定商品的总页数，然后分别获取每页的商品信息，并保存到数据库
• 利用抓取到的商品信息，用商品id和店铺id构造url访问得到评论的json数据，利用多线程，将格式化的数据保存到数据库

运行环境

• python3
• windows10

前置库

• requests
• selenium
• pyquery
• pymongo

使用方法

将文件下载到本地，cmd进入该文件夹

参数解释

• -h 帮助
• -k 需要爬取的商品名称
• -d 需要保存到的数据库名称（保存到mongodb,程序自动建立数据库）
• -r 是否需要抓取商品评论 （输入任意字符表示抓取评论 例如：python crawl_taobao.py -d database -r a）
• -v 版本信息

示例

抓取商品列表

抓取商品评论

此功能需要先抓取商品列表

抓取到的数据库信息

商品信息

评论信息

2018.1.13更新

简化代码，将chrome浏览器改为phantomjs无头浏览器

评论的网页稍有变动，修改代码使其可执行