时光网电影 Top100 爬虫和数据可视化
(以下操作在 MacOS 10.14.6,Node.js v12.2.0,yarn v1.16.0 下测试可用)
- 安装 MongoDB 并启动服务,需要运行在
localhost:27017
上。 - 在
/spider
目录下,运行yarn install
,安装爬虫所需的库。 - 在
/spider
目录下,运行yarn run start
。
- 确认爬虫已经运行过且运行正常,数据已经存储到 MongoDB。
- 在
/spider
目录下,运行yarn install
,安装数据可视化所需的库。 - 在
/spider
目录下,运行yarn run start
,确认没有其他应用占用 8000 端口。 - 访问
http://localhost:8000
。
- Node.js
- syncrequest
- cheerio
- MongoDB
- Express.js
- JQuery
- Lodash
- ECharts