• 轻量级爬虫
• 模块化设计，便于扩展：支持多种消息队列(Disruptor、Redis、Kafka、RabitMQ、RocketMQ)、多种网络框架(Http Client、Okhttp3、Selenium等)，也支持自己实现。
• 支持分布式
• 多线程、异步化：底层使用 RxJava 2 的多线程机制
• 支持 Request 添加到正在运行爬虫的 Queue 中
• 支持 Kotlin 协程
• 支持 JS 渲染
• 支持 Request 自定义 header 信息
• 支持 debug 功能：在调试时 Request 可以打开 debug 的开关，使用 RxCache 存储请求的结果，从而避免多次请求同一个网页。
• 支持失败重试的机制
• 多纬度控制爬取速度（Pipeline、Request、Download、Domain）等等
• 支持代理池、User Agent 池、Cookies 池
• 支持爬虫的深度抓取：能够在 Pipeline 中发起深度抓取
• 支持 URL 去重：使用布隆过滤器
• Spider 的监控、SpiderEngine 的监控 (基于Etcd、Zookeeper)
• agent 模块能够对当前服务器的 CPU 和内存进行实时监控
• SpiderEngine 整合 Quartz

模块名	最新版本
netdiscovery-core-core
netdiscovery-core-engine
netdiscovery-core-engine-monitor
netdiscovery-downloader-htmlunit
netdiscovery-downloader-httpclient
netdiscovery-downloader-okhttp
netdiscovery-downloader-selenium
netdiscovery-pipeline-couchbase
netdiscovery-pipeline-elasticsearch
netdiscovery-pipeline-mongo
netdiscovery-pipeline-redis
netdiscovery-queue-kafka
netdiscovery-queue-rabbitmq
netdiscovery-queue-redis
netdiscovery-queue-rocketmq
netdiscovery-kotlin-coroutines
netdiscovery-kotlin-dsl

NetDiscovery 是基于 Vert.x、RxJava 2 等框架实现的爬虫框架。目前正在不断地完善中，未来会做成一个更为通用的爬虫框架。

对于 Java 工程，如果使用 gradle 构建，由于默认没有使用 jcenter()，需要在相应 module 的 build.gradle 中配置

repositories {
    mavenCentral()
    jcenter()
}

在 NetDiscovery 中，Spider 可以单独运行，Spider 也可以交给 SpiderEngine 来控制。

SpiderEngine 可以在运行之前注册到 Etcd/Zookeeper，然后由 monitor 对 SpiderEngine 进行监控。

• user-agent-list:抓取常用浏览器的user agent
• FXHParser:抓取非小号数字货币

• RxCache
• ProxyPool

1. 整合cv4j以及 Tesseract，实现 OCR 识别的功能
2. 完善协程的模块
3. SpiderEngine 提供rpc接口
4. 增加 admin 模块
5. 支持 Consul
6. 支持 RxJava 3.x
7. 完善 wiki，增加各个模式的使用说明
8. 各个模块能够从配置文件中获取爬虫相应的配置
9. 增强 HtmlUnit 模块
10. 增加 chromium 的支持

• bdqfork
• homchou
• sinkinka

Pull requests are welcome

Wechat：fengzhizi715

Java与Android技术栈：每周更新推送原创技术文章，欢迎扫描下方的公众号二维码并关注，期待与您的共同成长和进步。

Copyright (C) 2017 - present, Tony Shen.

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

   http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.