boris-code / feapder Goto Github PK

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

Home Page: http://feapder.com

License: Other

Python 100.00%

scrapy feapder spider crawler python feaplat

feapder's Introduction

FEAPDER

简介

feapder是一款上手简单，功能强大的Python爬虫框架，内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。
支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。
更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

读音: [ˈfiːpdə]

文档地址

官方文档：https://feapder.com
github：https://github.com/Boris-code/feapder
更新日志：https://github.com/Boris-code/feapder/releases
爬虫管理系统：http://feapder.com/#/feapder_platform/feaplat

环境要求：

Python 3.6.0+
Works on Linux, Windows, macOS

安装

From PyPi:

精简版

pip install feapder

浏览器渲染版：

pip install "feapder[render]"

完整版：

pip install "feapder[all]"

三个版本区别：

精简版：不支持浏览器渲染、不支持基于内存去重、不支持入库mongo
浏览器渲染版：不支持基于内存去重、不支持入库mongo
完整版：支持所有功能

完整版可能会安装出错，若安装出错，请参考安装问题

小试一下

创建爬虫

feapder create -s first_spider

创建后的爬虫代码如下：

import feapder


class FirstSpider(feapder.AirSpider):
    def start_requests(self):
        yield feapder.Request("https://www.baidu.com")

    def parse(self, request, response):
        print(response)


if __name__ == "__main__":
    FirstSpider().start()

直接运行，打印如下：

Thread-2|2021-02-09 14:55:11,373|request.py|get_response|line:283|DEBUG|
                -------------- FirstSpider.parse request for ----------------
                url  = https://www.baidu.com
                method = GET
                body = {'timeout': 22, 'stream': True, 'verify': False, 'headers': {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36'}}

<Response [200]>
Thread-2|2021-02-09 14:55:11,610|parser_control.py|run|line:415|DEBUG| parser 等待任务...
FirstSpider|2021-02-09 14:55:14,620|air_spider.py|run|line:80|INFO| 无任务，爬虫结束

代码解释如下：

start_requests：生产任务
parse：解析数据

参与贡献

贡献之前请先阅读贡献指南

感谢所有做过贡献的人!

爬虫工具推荐

爬虫在线工具库：http://www.spidertools.cn
爬虫管理系统：http://feapder.com/#/feapder_platform/feaplat
验证码识别库：https://github.com/sml2h3/ddddocr

微信赞赏

如果您觉得这个项目帮助到了您，您可以帮作者买一杯咖啡表示鼓励 🍹

也可和作者交个朋友，解决您在使用过程中遇到的问题

学习交流

知识星球：17321694	作者微信： boris_tm	QQ群号：485067374

加好友备注：feapder

feapder's People

Contributors

Stargazers

Watchers

Forkers

syxza zhanjianzhi qkss lijiangwei6 rainbowshine521 org-mars leejinnian cxapython joedidi dlb-shy kingsun0 tikazyq gk18965 kongshuaifu swatchion seowhyseo lemonsuan dzai yuhuasong123 youmengme qianyin123 xieshiyu9527 singhoy asd12l ahlfors allensmile laozhongyi-0326 mrqjj jiayunwu zero-sx zhouxinfei my37241 xiuqiugang floweroda mysky2020 guazia yufengsoft jasonxgw litt1eq luopeixiong mu-l kopa-kongpan alanweekend sobeited nonanaconda 13580769346 xrosliang milinsanke d1rtydann n1f2c3 alexcurry-art felod qinless forgeries djun mailx8 miven soulahan cced3000 shadowmimosa daivad xuepengsmile imfifc boyyongxin pudiding zxllunhui zzjj1988 ddfiberglass afei1024 open-classes whisperbb nnnnnode kenuosec khurhao zanderzhg jacky-fan jsntzxh coloraven lovebull coco369 ayixi piaoxue88 larryerik fyh0737 skyformat99 dobby2046 weiplanet svengao monitor14 dingzi dabingweiyuanhui gyarmy huangweiboy2 anytoo toread-jxj aiical moonbirdxp tscrubbish lulinlu haidongsong

feapder's Issues

赞👍

为何我配置了代理API连接会一直出问题呢???

Spider进阶 - feapder-document

https://boris.org.cn/feapder/#/source_code/Spider%E8%BF%9B%E9%98%B6

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

配置文件 - feapder-document

https://boris.org.cn/feapder/#/source_code/%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

feapder-document

https://boris.org.cn/feapder/#/

Description

安装问题 - feapder-document

https://boris.org.cn/feapder/#/question/%E5%AE%89%E8%A3%85%E9%97%AE%E9%A2%98

Description

请求问题 - feapder-document

https://boris.org.cn/feapder/#/question/%E8%AF%B7%E6%B1%82%E9%97%AE%E9%A2%98

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

命令行工具 - feapder-document

https://boris.org.cn/feapder/#/command/cmdline?id=_1-%e5%88%9b%e5%bb%ba%e7%88%ac%e8%99%ab%e9%a1%b9%e7%9b%ae

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

爬虫集成 - feapder-document

https://boris.org.cn/feapder/#/usage/%E7%88%AC%E8%99%AB%E9%9B%86%E6%88%90

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

批次解析器-BatchParser - feapder-document

https://boris.org.cn/feapder/#/source_code/BatchParser

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

UpdateItem - feapder-document

https://boris.org.cn/feapder/#/source_code/UpdateItem

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

架构设计 - feapder-document

https://boris.org.cn/feapder/#/foreword/%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

感谢作者

看了下文档，试用了，感觉这才是人类该用的框架。感谢作者的开源创作

使用前必读 - feapder-document

https://boris.org.cn/feapder/#/usage/%E4%BD%BF%E7%94%A8%E5%89%8D%E5%BF%85%E8%AF%BB

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

feapder-document

https://boris.org.cn/feapder/#/

Description

通过request传递参数失败

按照这个例子写的，

但是提示没有这个参数 task_id

失败的request无法存入redis

兼容问题，redis不可存储Python中的字典对象，存储之前需要将其转为字符串，字节

失败的Request存储方法

报错信息：

请求-Request - feapder-document

https://boris.org.cn/feapder/#/source_code/Request

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

WebDriver的render_time参数如何设置对集成批次爬虫中的所有任务生效

我在配置文件中设置render_time，似乎只对第一个任务生效，剩下的任务并没有等待，直接执行parse了

AirSpider - feapder-document

https://boris.org.cn/feapder/#/usage/AirSpider

Description

对于反爬取

很多网站反爬取爬出来html 不是很完整配置mimproxy ajax js请求没触发用selenium就没问题是不是需要加些配置？

运行问题 - feapder-document

https://boris.org.cn/feapder/#/question/%E8%BF%90%E8%A1%8C%E9%97%AE%E9%A2%98

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

功能概览 - feapder-document

https://boris.org.cn/feapder/#/foreword/%E5%8A%9F%E8%83%BD%E6%A6%82%E8%A7%88

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

分布式爬虫-Spider - feapder-document

https://boris.org.cn/feapder/#/usage/Spider

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

item存储的问题

你好，我在使用框架的时候遇到这样一个现象，可能会是一个潜在的隐患
我是直接在解析体里实例化Item，然后给Item的各个键赋值。
整个解析体会有一些条件分支，如下示例代码所示
一开始我没有注意到，因为大部分情况和我料想的一样
else语句里没有赋值的字段都是自动填充None到数据库的
但是后来发现，有的数据本来key_a, key_b, key_c需要有值的，实际上却只有一个status字段的值是1，其余均为空
定位到上面那张图的代码位置
原因我猜想是这样的，多条数据在一起入库，生成sql语句的时候，选择了列表中第一条记录的key，而第一条记录的key如果是else条件下赋值的，就会只有一个字段被使用，那么这一批一起入库的数据就只有一个字段入库了
不知作者能不能明白我的意思哈哈~

item = Item()
item.create_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(time.time()))
if 'hhh' in response.text:
    item.status = 1
    item.key_a = response.xpath('...')
    item.key_b = response.xpath('...')
    item.key_c = response.xpath('...')
else:
    item.status = 0

数据管道-pipeline - feapder-document

https://boris.org.cn/feapder/#/source_code/pipeline

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

MysqlDB - feapder-document

https://boris.org.cn/feapder/#/source_code/MysqlDB

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

简介及安装 - feapder-document

https://boris.org.cn/feapder/#/README

Description

Item - feapder-document

https://boris.org.cn/feapder/#/source_code/Item

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

feapder-document

https://boris.org.cn/feapder/#/

Description

RedisDB - feapder-document

https://boris.org.cn/feapder/#/source_code/RedisDB

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

简介及安装 - feapder-document

https://boris.org.cn/feapder/#/README

Description

爬虫断掉重连一直使用旧代理IP

爬虫断掉重连一直使用旧代理IP 导致一直重试爬取失败代理IP能配置重连重新获取？

轻量爬虫-AirSpider - feapder-document

https://boris.org.cn/feapder/#/usage/AirSpider

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

解析器-BaseParser - feapder-document

https://boris.org.cn/feapder/#/source_code/BaseParser

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

ModuleNotFoundError: No module named 'utils'

环境
Python 3.7.8
mac os 10.15.7
pycharm 2020.3.5

报错操作
pip3 install feapder安装好后
终端执行
feapder create -s first_spider

(venv) ➜ Spiders feapder create -s first_spider
Traceback (most recent call last):
File "/PycharmProjects/Spiders/venv/bin/feapder", line 5, in
from feapder.commands.cmdline import execute
File "/PycharmProjects/Spiders/venv/lib/python3.7/site-packages/feapder/init.py", line 28, in
from feapder.core.spiders import Spider, BatchSpider, AirSpider
File "/PycharmProjects/Spiders/venv/lib/python3.7/site-packages/feapder/core/spiders/init.py", line 13, in
from feapder.core.spiders.air_spider import AirSpider
File "/PycharmProjects/Spiders/venv/lib/python3.7/site-packages/feapder/core/spiders/air_spider.py", line 14, in
import feapder.utils.tools as tools
File "/PycharmProjects/Spiders/venv/lib/python3.7/site-packages/feapder/utils/tools.py", line 46, in
from feapder.utils.email_sender import EmailSender
File "/PycharmProjects/Spiders/venv/lib/python3.7/site-packages/feapder/utils/email_sender.py", line 18, in
from utils.log import log

我在feapder/utils/email_sender.py改成from feapder.utils.log import log 正常了

__custom_setting__ =dict(
    WEBDRIVER=dict(
        pool_size=2,  # 浏览器的数量
        load_images=False,  # 是否加载图片
        user_agent=None,  # 字符串 或 无参函数，返回值为user_agent
        proxy=None,  # xxx.xxx.xxx.xxx:xxxx 或 无参函数，返回值为代理地址
        headless=False,  # 是否为无头浏览器
        driver_type="CHROME",  # CHROME 或 PHANTOMJS,
        timeout=30,  # 请求超时时间
        window_size=(1024, 800),  # 窗口大小
        executable_path=None,  # 浏览器路径，默认为默认路径
    )
)`

boris-code / feapder Goto Github PK

feapder's Introduction

FEAPDER

简介

文档地址

环境要求：

安装

小试一下

参与贡献

爬虫工具推荐

微信赞赏

学习交流

feapder's People

Contributors

Stargazers

Watchers

Forkers

feapder's Issues

Recommend Projects

Recommend Topics

Recommend Org