kyqv / new_agricultural_sprider Goto Github PK
View Code? Open in Web Editor NEWThis project forked from levinsroom/new_agricultural_sprider
全国400多家农产品市场(大致分为8个独立官网,三个集成网站,爬取当天菜价,历史菜价等)如斗南市场,北京新发地等,(举 一个例:https://price.21food.cn/fushipin/baojian/)蔬菜网价格信息实时爬虫。采用语言为python,使用pandas库包进行数据处理,使用 request,Selenium,lxml库包进行爬取,部署在服务器上,利用神经网络识别验证码,集反爬虫,代理IP等多项技术,采取分布式架构。数据 最后存储在hive,hbase和mysql,实现了数据的实时爬取与存储。