strongit / livetv_mining Goto Github PK

##关于作者

人生苦短，我用Python

半路出家程序员(猿)，现居于魔都，爱好：美食、游戏、乃木坂46。

曾经被JAVA伤害很深，现已投入Python怀抱。

##关于项目 LiveTV Mining

###介绍

项目实现爬虫、数据挖掘/分析等功能。目前主要是扫描直播(斗鱼、Bilibili)收集数据，后续会开发其他直播爬虫。

项目是在个人兴趣指引下用业余时间写的，技术还欠缺火候。使用中有问题或更新建议，欢迎提issue或用以下联系方式跟我交流：

• 邮件: [email protected]
• QQ: 3084582097
• Github: taogeT

###历程

• 2016-11-01 修正改造搜索功能，需要登录后才能使用。

• 2016-10-29 完成前后端分离初步改造，已实现调用REST API进行访问读取。爬虫运行间隔20分钟。

• 2016-10-20 引入vue.js，前后端开发分离。开发完成简单 Flask-Vue 插件。

• 2016-10-15 引入Scrapy重构爬虫，精简爬虫步骤。仅保留斗鱼、BiliBli爬虫。

####2016-08-15 v1.0版本开发结束，代码保存在分支v1.0

##感激

感谢以下项目的支持，排名不分先后

• Flask
• Bootstrap
• PostgreSQL
• Scrapy
• Vue