/aio-scrapy

将基于twisted的scrapy/scrapy-redis改成基于asyncio,使用aiohttp发送请求

Primary LanguagePythonMIT LicenseMIT

aio-scrapy

将基于twisted的scrapy/scrapy-redis改成基于asyncio, 保留了几乎所有的scrapy/scrapy-reids功能

声明

仅供学习使用，禁止项目源码用于任何目的，由此引发的任何法律纠纷与本人无关

安装

# python版本>=3.7

# 下载安装
pip install aio-scrapy

使用

跑单个爬虫

python example/demo2/demo_aioscraoy_redis.py

跑多个爬虫

python example/demo2/start.py

运行爬虫项目

python example/demo1/start.py

部署分布式爬虫
# 步骤一: 安装scrapyd
# pip install scrapyd

# 步骤二: 修改scrapyd配置
# 使用aioscrapy/scrapyd/default_scrapyd.conf替换scrapyd的默认配置

# 步骤三: 启动scrapyd

# 步骤四: 上传爬虫
# 双击执行example/demo1下的deploy.bat
# 或者直接执行 python deploy.py server1

# 启动爬虫
# curl http://localhost:6800/schedule.json -d project=demo1 -d spider=baidu