/MSpider

自用爬虫模板

Primary LanguagePython

仓库介绍
  • 这是一个我为了偷懒,而编写的一个自用爬虫模板,虽然不是那么的成熟,但是我会不断的改进
仓库目录结构及说明
.
├── commons // 存放公共组件的目录
│   ├── commons.py
│   ├── db.py
│   ├── fsave.py
│   └── __init__.py
├── config // 存放配置目录
│   ├── __init__.py
│   └── settings.py
├── downloader // 下载器
│   ├── downloader.py
│   └── __init__.py
├── main.py // 编写主程序入口文件
├── README.md
├── tests // 测试用例目录
│   ├── readnovel.json
│   ├── readnovel.py
│   ├── test_download.py
│   └── test_urls.py
├── urls // URL管理器
│   ├── __init__.py
│   └── urls.py
└── xparse // 解析器
    └── __init__.py


that's all