/buffSpider

Scrapy+Redis爬取buff数据

Primary LanguageJavaScriptApache License 2.0Apache-2.0

BUFFSpider (前言)

Scrapy+Redis爬取buff数据

Contributors Forks Stargazers Issues MIT License LinkedIn

  • 研究爬虫技术 ,遵循robots.txt协议的前提下,使用Scrapy框架和redis实现高效爬虫

  • 对爬取的数据进行数据分析和可视化展示

  • 研究反爬虫技术 通过研究网站使用的反爬虫技术,采取措施绕过

  • 数据安全技术方面

  • 数据挖掘和决策方面

原理分析

Scrapy爬虫框架

Redis爬虫框架

结果预览

xlsx数据

pandas+seaborn数据统计

pandas+seaborn数据统计

价格变动数据展示

商品展示

商品数据展示