/UrlCrawler

python写的全站url爬取脚本,爬取网站的全部url用于分析站点目录

Primary LanguagePython

UrlCrawler

author : saucerman

description: python写的全站url爬取脚本,爬取网站的全部url用于分析站点目录

说明

暂未使用多进程或多线程,速度不快,可自行修改源码

基本**如下所示: