/Scrapy_plus

根据Scrapy框架搭建的爬虫框架,具有分布式、断点续爬、增量爬虫的功能

Primary LanguagePython

Scrapy_plus

根据Scrapy框架搭建的爬虫框架,具有分布式、断点续爬、增量爬虫的功能

1.使用说明

使用时需要

python setup.py install

2.文件说明

requirements.txt:依赖环境所支持的模块及其版本

setup.py:将框架安装到python中,作为第三方模块来调用

VERSION.txt:标明当前的版本号

scrapy_plus:主要功能实现