新浪微博的数据采集主要有两种方法，基于新浪微博API和基于网络爬虫的页面解析。 本系统采取基于网络爬虫的页面解析方法，基于网络爬虫的微博信息采集可以突破 API开放接口限制，不间断地爬取信息。网络爬虫根据顺序URL列队获取URL地址，并下载其指向页面至本地，再利用DOM树进行网页解析。利用XPath可以定位存放关键信息的DOM节点位置,最后抽取XPath特征节点中的内容。

根据需求说明需要采集的数据属性如下：

• 微博内容
• 是否原创
• 转发内容
• 发布时间
• 转发数
• 评论数
• 点赞数
• 设备源
• 微博ID

对于抓取到的页面源码分析不同属性对应的标签分别提取数据。最后将采集到的数据保存为csv格式，供数据分析使用。

根据事件发生的时间爬取事件发生前后一个月总共三个月的微博，为了实现自动采集数据，根据微博账号爬取PageId，将PageId作为爬取数据的URL的一个字段拼接，通过微博账号就能实现对微博数据的爬取。