自动化WEB漏洞扫描器
- 使用gevent改进进程池 -> 编写了新的线程池
- 使用新的线程池替换旧的线程池
- 检查代理存活时改用多线程
Web爬虫深度控制- Web爬虫关键字控制
Web爬虫多线程控制Web爬虫的目标域限制- 去重算法优化
- 增加爬取form的action部分，src属性，以javascrip:开头的href，有onclick属性，form的action，自动提交。
获取打开页面时加载的ajax请求- 增加Web代理功能，让浏览器代理到爬虫上，手工点击增加链接数量
- 从代理池中获取可用的代理并自动利用代理爬取
- 增加cookie支持
- 增加UA支持
增加log的彩色输出
- 2016-7-24
- Pansidong v0.1.1 版本完成。
- 增加 phantomjs的进程池，保证稳定性。
- 修复 线程锁的释放位置，保证线程间数据完整性。
- 增加 记录HTTP子请求的功能，增加了爬取到的线程数量。
- 2016-7-23
- Pansidong v0.1.0 版本完成。
- 增加 爬虫深度控制。
- 增加 爬虫多线程控制。
- 增加 新的线程池，比以前更有效率。
- 优化 爬虫爬取时消耗的资源更少，时间更短。
- 2016-7-20
- 增加 爬虫爬取范围的控制
- 2016-7-17
- 增加 第一版Web爬虫。可以初步过滤URL相似以及重复。
- 增加 对Mac系统的支持。
- 2016-7-16
- 修改proxy表字段，增加是否存活的字段。
- 2016-7-10
- ProxySpider v1.0.4版本完成。
- ProxySpider封装完成，已经作为模块导入到盘丝洞中：https://github.com/LiGhT1EsS/Pansidong