cybest2010/--shell-
全网超快shell版搜索网页爬虫,根据scrapy思路编写的脚本,使用链式反应广度优先爬取网站链接,可爬取同网站或者放开随意爬取,通过进程调入后台加速,各种接口已在其中包含,可随意修改,直接sh即可运行
Shell
Stargazers
No one’s star this repository yet.
全网超快shell版搜索网页爬虫,根据scrapy思路编写的脚本,使用链式反应广度优先爬取网站链接,可爬取同网站或者放开随意爬取,通过进程调入后台加速,各种接口已在其中包含,可随意修改,直接sh即可运行
Shell
No one’s star this repository yet.