A Python Web Crawler for Paper data crawling powered by Scrapy.
PaperSpider是一个用于抓取期刊文章相关信息的爬虫程序,基于Scrapy框架编写。
目前支持的期刊:
-
安装python
本程序基于python2.7编写, 可以从 http://python.org/download/ 上安装Python 2.7
-
安装scrapy框架
$ pip install scrapy
具体不同平台安装scrapy框架的方法, 详见: 安装指南
-
输入文件 在
/paper_spider
下的jacs_input.txt
中填入将要爬取的卷号和期刊号。例如,要爬取卷号为138,期刊号为16 和 卷号为137,期刊号为13的所有文章信息(标题,发表日期,作者,摘要等),如下格式填写输入文件:
# Volume number, issue number volume_issue = [(138, 16), (137, 13)]
-
开始爬取
在项目的根目录
/paper_spider
执行$ scrapy crawl jacs
爬取结果会自动保存在
jacs.txt
中。若想要以不同的格式保存数据:
$ scrapy crawl jacs -o jacs.json -t json # 以json格式保存
$ scrapy crawl jacs -o jacs.csv -t csv # 以csv格式保存
具体的保存方式详见Feed exports
*本爬虫目前还不支持保存到数据库,后续会加入对MySQL、MongoDB的支持。