基于scrapy-redis的通用分布式爬虫框架

• 效果图

  • 采集效果
  • 爬虫元数据
  • 分布式爬虫运行
  • 单机爬虫运行
  • kafka实时采集监控示例

• 介绍

  • 功能
  • 原理说明

• 快速开始

  • 下载安装
  • 如何开发一个新爬虫
  • 如何进行补爬
  • 如何扩展分布式爬虫
  • 如何管理爬虫元数据
  • 如何配合kafka做实时采集监控

• 其它

  • 注意事项

• 自动建表

• 自动生成爬虫代码，只需编写少量代码即可完成分布式爬虫

• 自动存储元数据，分析统计和补爬都很方便

• 适合多站点开发，每个爬虫独立定制，互不影响

• 调用方便，可以根据传参自定义采集的页数以及启用的爬虫数量

• 扩展简易，可以根据需要选择采集模式，单机standalone(默认) 或者 分布式cluster

• 采集数据落地方便，支持多种数据库，只需在spider中启用相关的管道

  关系型

  • mysql
  • sqlserver
  • oracle
  • postgresql
  • sqlite3

  非关系型

  • hbase
  • mongodb

• 反爬处理简易，已封装各种反爬中间件

  • 随机UserAgent
  • 定制请求头Headers
  • 定制Cookies
  • 定制代理ip
  • 在scrapy中使用requests
  • Payload请求
  • 使用Splash渲染 js

1. 消息队列使用 redis，采集策略使用先进先出
2. 每个爬虫都有一个 job 文件，使用 job 来生成初始请求类 ScheduledRequest，并将其推送到 redis； 初始请求全部推到 redis 后，运行 spider 解析生成数据 并迭代新的请求到redis, 直到 redis 中的全部请求被消耗完

# scrapy_redis请求类
class ScheduledRequest:

    def __init__(self, **kwargs):
        self.url = kwargs.get('url')                 # 请求url
        self.method = kwargs.get('method', 'GET')   # 请求方式 默认get
        self.callback = kwargs.get('callback')  # 回调函数，指定spider的解析函数
        self.body = kwargs.get('body')  # body, method为post时, 作为 post表单
        self.meta = kwargs.get('meta')  # meta, 携带反爬信息比如cookies，headers; 以及一些元数据，比如 pagenum

1. git clone https://github.com/TurboWay/spiderman.git; cd spiderman;
2. 【不使用虚拟环境的话，可以跳过步骤23】virtualenv -p /usr/bin/python3 --no-site-packages venv
3. 【不使用虚拟环境的话，可以跳过步骤23】source venv/bin/activate
4. pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requestsment.txt
5. 修改配置 vi SP/settings.py
6. 运行demo示例 python SP_JOBS/zhifang_job.py

运行 easy_scrapy.py 会根据模板自动生成以下代码文件，并自动在 pycharm 打开 spidername_job.py 文件；

直接执行 python SP_JOBS/spidername_job.py

或者动态传参（参数说明 -p 采集页数， -n 启用爬虫数量） python SP_JOBS/spidername_job.py -p 10 -n 1

运行 easy_scrapy.py 会根据模板自动生成以下代码文件，并自动在 pycharm 打开 spidername_job_patch.py 文件；

直接执行 python SP_JOBS/spidername_job_patch.py

采集模式有两种(在 settings 控制)： 单机 standalone(默认) 和 分布式 cluster

如果想切换成分布式爬虫，需要在 spiderman/SP/settings.py 中启用以下配置

注意：前提是 所有SLAVE机器的爬虫代码一致、python环境一致，都可以运行爬虫demo

# 采集模式 standalone 单机 (默认);  cluster 分布式 需要配置下方的 slaves
CRAWL_MODEL = 'cluster'

运行 easy_meta.py 自动生成当前项目所有爬虫的元数据, 默认记录到sqlite meta.db, 可以在 setting 中自行配置;

# 爬虫 meta
META_ENGION = 'sqlite:///meta.db'

元数据表meta字典如下：

1. 配置 kafka（修改 setting 的 KAFKA_SERVERS）
2. 自定义监控规则（修改编写 kafka_mon.py , 并运行该脚本程序, 开始监控）
3. 在 spider 中启用 kafka 管道（运行爬虫 job , 开始采集）

1. 字段名称不能使用 isload、ctime、bizdate、spider 等字段，因为这些字段被作为通用字段，避免冲突
2. items 文件每个字段建议添加注释，生成元数据时，会将注释导入到元数据表，便于管理爬虫