UrlCrawler author : saucerman description: python写的全站url爬取脚本,爬取网站的全部url用于分析站点目录 说明 暂未使用多进程或多线程,速度不快,可自行修改源码 基本**如下所示: