/1024-web-crawler

🚗🚗1024社区单线程图片爬虫

Primary LanguagePythonMIT LicenseMIT

单线程爬虫,下载的图片文件全部保存在了项目下,下载过的会自动跳

请在python 3下运行

需要的库:

   requests
   lxml

运行:

   python 1024.py

停止:

   ctrl+c

如果网络不好,小概率会崩掉,重新运行就OK

Image text

默认爬的是达盖尔的旗帜,可以自己修改想要爬的分区

   把page_url里的pid=16修改成pid=8就可以爬取新时代区了