简单的Java爬虫项目, 爬取知乎用户信息, 目前已爬取100w条

使用WebMagic框架, Maven构建项目

JDK版本: 10   低版本需手动替换代码中的var

数据库支持: SQL Server / MySql

主程序入口: Main.java

初次运行请配置jdbc.properties和cookies.txt

添加 -s 命令行参数可配置是否清空原有数据/线程数等,默认线程数为10

默认使用MySql持久化数据, 填入基本信息即可

也支持持久化至本地的SQL Server, 请在启动程序时添加 -s 参数配置启动, 采用Windows身份验证

在浏览器中登录知乎, 在开发者工具 (F12) 中找到请求头cookies字段中的 z_c0 键值对,填入cookies.txt中

数量不限, 爬取速度 (由线程数和爬取间隔决定) 可随cookies数的增加而增加, 同时也可减少账号暂时被封的风险

爬取过程中按 ctrl+c 键停止爬虫

平均爬取速度: 1w条/h (5账号,10线程,2000+random(1000)sleep)

所用框架语法参见WebMagic文档

项目分为主程序模块Crawler,爬虫组件模块Assembly,持久化模块Database

• Main.java: 爬虫的配置,启动和终止

• DatabasePipeline.java: 爬取信息的输出和数据的持久化

• MyDownloader.java: 在每次下载前更新请求头信息

• MySpider.java: cookies信息的处理,账号切换和爬取间隔的设置等

• Processor.java: 爬虫过程主体,包括信息的抽取,后续Url的获取等

• Database.java: 实现操作数据库相关的功能

• User.java: 用户信息类

可视化见img/visual文件夹