ubuntu下运行 赶集爬虫
mongodb数据库配置 utils.mongodb
#爬取代理 python getProxy -g #检查代理健康度 python getProxy -c #加入定时任务 python getProxy -a
安装firefox支持geckodriver 安装firefox浏览器
#安装必要 pip install -r requirements.txt
启动 python main.py
ubuntu下运行 赶集爬虫
mongodb数据库配置 utils.mongodb
#爬取代理 python getProxy -g #检查代理健康度 python getProxy -c #加入定时任务 python getProxy -a
安装firefox支持geckodriver 安装firefox浏览器
#安装必要 pip install -r requirements.txt
启动 python main.py