/python-crawler-template

Python 爬虫开发模板

Primary LanguagePythonApache License 2.0Apache-2.0

python-crawler-template

Python 爬虫开发模板

运行环境

使用说明

  1. 创建 Github Repository 时选择这个仓库做模板
  2. 修改 script/crawler-create.sql 建库脚本
  3. 运行 python gen_pdm.py 脚本生成数据库 pdm 代码
  4. 修改 src 下的爬虫代码（FIXME 和 TODO 标记的都需要根据场景修改），运行 python main.py 启动爬虫
  5. 修改 autorun.yml，可通过 Github Actions 自动运行
  6. 开启 Github Pages，指定目录为 master/docs