/DoubanPyspider

使用Pyspider框架的豆瓣爬虫

Primary LanguagePython

DoubanPyspider

使用Pyspider框架的豆瓣爬虫

依赖:

python第三方库:pyspider, pymongo, requests
数据库:mongodb
代理池:IPProxy

Usage

安装mongodb, 使用pip安装pyspider和pymongo,在pyspider新建一个爬虫项目,将movie_spider.py文件的内容拷贝到项目中运行即可。