beingfanfan / xwlb Goto Github PK

本项目的是将CCTV.com上的新闻联播历年的节目内容爬取到本地并解析。

本项目微博：今天追新闻联播了吗

抓取的思路为：

• 首先找到当日新闻的入口(图1)；
• 其次在当日新闻的主页找到节目简介和节目详细内容的链接；
• 最后解析节目简介和详细内容（图2和图3）。

图1：

图2：

图3：

网页保存路径：

• xwlb/是本次节目的主页保存路径
• xwlb/summarys/是本次节目的内容简介保存路径
• xwlb/details/是节目中的详细内容保存路径

参考链接Ubuntu中安装mongodb

pip install scrapy_splash
docker run -p 8050:8050 scrapinghub/splash

项目根目录执行:

cd xwlb/xwlb
scrapy crawl spider

本项目的spalsh和mongodb使用的都是本机地址。如果是其他机器需要进行配置。 splash:修改setting.py文件中的SPLASH_URL=your ip mongodb：修改```/etc/mongod.conf中的：

# network interfaces
net:
  port: 27017
  bindIp: 0.0.0.0