该项目为 精通有道技术聚合团队 分布式队列爬虫项目。
一、项目环境 1、python3 2、celery4
二、工程结构 1、apps: 1）celery_init.py，celery启动初始化； 2）flask_init.py，fask启动初始化； 3）timer_task.py，flask对外接口实例 celery_init.py flask_init.py timer_task.py
2、browser_interface：浏览器相关接口方法，涉及工厂方法，无头浏览器，requests cookies，代理等
3、celery_tasks： celery 其他分布式任务在这里扩展
4、config 项目相关配置文件
5、db：数据库相关操作方法
6、decorators：异常修饰器
7、feng_huang_net：使用浏览器抓取的一个实例
8、init_classes：一些手动执行的方法，目前大多数为微博抓取相关方法
9、封装的日志方法：logger
10、page_get、page_parse：微博获取、解析方法
11、test、tests：测试相关方法
12、celery_py.py:直接从pycharm 启动celery需要用到的启动脚本
13、jtyd_spider_run.py：flask启动脚本
14、jtyd_spider_run.sh：启动命令集合
15、requirements.txt 需要的lib
16、doc：其他相关文档 1）celery_pycharm启动配置.png 2）jtyd_spider.sql 脚本
三、启动方式 1、安装环境 requirements.txt
2、配置数据库 mysql、mongdb、redies
3、运行脚本启动，参考：jtyd_spider_run.sh：启动命令集合 gunicorn -b :5000 -w 1 -t 120 jtyd_spider_run:app >> service.log 2>&1 & nohup python -m celery worker -l INFO -c 5 -A apps.celery_init.celery -B &