/xspider

Primary LanguagePython

xspider

一个用于爬取电影数据的爬虫。使用scrapy编写.

(仅用于研究目的)

url去重逻辑:采用redis. 数据存储: mysql

1.支持电影,电视剧的抓取,统一存储结构.