Pinned Repositories
eastmoney_stock
scrapy+Fiddler+celery+ redis +mysql实现分布式定时启动并异步快速动态爬取股票数据功能
LagouSpider
【图文详解】scrapy爬虫与动态页面——爬取拉勾网职位信息（1）
new_agricultural_sprider
全国400多家农产品市场（大致分为8个独立官网，三个集成网站，爬取当天菜价，历史菜价等）如斗南市场，北京新发地等，（举 一个例：https://price.21food.cn/fushipin/baojian/）蔬菜网价格信息实时爬虫。采用语言为python，使用pandas库包进行数据处理，使用 request，Selenium，lxml库包进行爬取，部署在服务器上，利用神经网络识别验证码，集反爬虫，代理IP等多项技术，采取分布式架构。数据 最后存储在hive，hbase和mysql，实现了数据的实时爬取与存储。
spiderman
基于 scrapy-redis 的通用分布式爬虫框架
vegetable
大创项目：基于大数据的蔬菜价格预测
poorcaterpillar's Repositories
poorcaterpillar/spiderman
基于 scrapy-redis 的通用分布式爬虫框架
poorcaterpillar/eastmoney_stock
scrapy+Fiddler+celery+ redis +mysql实现分布式定时启动并异步快速动态爬取股票数据功能
poorcaterpillar/new_agricultural_sprider
全国400多家农产品市场（大致分为8个独立官网，三个集成网站，爬取当天菜价，历史菜价等）如斗南市场，北京新发地等，（举 一个例：https://price.21food.cn/fushipin/baojian/）蔬菜网价格信息实时爬虫。采用语言为python，使用pandas库包进行数据处理，使用 request，Selenium，lxml库包进行爬取，部署在服务器上，利用神经网络识别验证码，集反爬虫，代理IP等多项技术，采取分布式架构。数据 最后存储在hive，hbase和mysql，实现了数据的实时爬取与存储。
poorcaterpillar/vegetable
大创项目：基于大数据的蔬菜价格预测
poorcaterpillar/LagouSpider
【图文详解】scrapy爬虫与动态页面——爬取拉勾网职位信息（1）