cybest2010/--shell-

全网超快shell版搜索网页爬虫，根据scrapy思路编写的脚本，使用链式反应广度优先爬取网站链接，可爬取同网站或者放开随意爬取，通过进程调入后台加速，各种接口已在其中包含，可随意修改，直接sh即可运行

Shell