/python-webspider

🐞 Different kinds of Python-based webspider 各种爬虫...嗯,有一些比较实用的代码段

Primary LanguagePythonMIT LicenseMIT

python-webspider

A simple Python-based webspider

此爬虫的特点:

  1. 支持设置 User-Agent
  2. 下载前支持 手动修改链接
  3. 下载时自动建立 以时间命名的文件夹。下载的文件自动命名为 1.xx 2.xx 3.xx 等等
  4. 下载时有 异常处理机制,可以跳过循环。同时输出错误链接到 txt 方便后续处理
  5. 退出时可选 删除临时文件

视频教程链接:

【教程】快速上手!自制Python爬虫教程与实战——bilibili专栏篇