awesome-java-crawler

本仓库收集整理Java爬虫相关资源

Chrome Devtools Protocol - Chrome开发协议相关资源；Chrome控制台工具、Selenium、Puppeteer均基于此协议开发；所有主流编程语言均有第三方支持
Selenium - 应用最广泛的浏览器自动化测试框架，支持所有主流浏览器
Puppeteer(javascript) - 基于Chrome开发协议的高层浏览器自动化框架
Pyppeteer(python) - puppeteer的Python实现
Jyppeteer - puppeteer的Java实现
CDP4J - Java版本的Chrome开发协议支持库。注意本库为商业授权
Tampermonkey - 著名的“油猴”浏览器脚本管理器，可用于浏览器自动化控制
PhantomJS(javascript) - 基于WebKet核心的无头浏览器。已经停止维护

javascript-breakpoint-collection - 一个Chrome插件，可用于设定高级断点；也可以直接在控制台执行其源码，之后即可在控制台设断点，可以监听任意对象属性读写、cookie读写等
几种常见的JavaScript混淆和反混淆工具分析实战
spy-debugger手机浏览器远程调试 - 使用代理服务器注入外部JavaScript，实现远程调试。可以调试微信内置浏览器, 应用内嵌的WebView等，非常强大

CURL - 最常用的命令行请求模拟工具，Windows下可以通过Cygwin安装，也可以直接用java-curl
HTTPBIN.ORG - 在线工具网站，根据需求模拟各种HTTP应答，可用于验证代理的匿名性（透明/匿名/高匿）
- curl -x <proxy>:<port> https://httpbin.org/get?show_env=1 - 如果X-Forwarded-For和origin不一致，表明使用了非匿名代理
淘宝IP地址库
- http://ip.taobao.com/service/getIpInfo.php?ip=11.206.34.204 - 查询给定IP的归属地
- curl http://ip.taobao.com/service/getIpInfo2.php -x <proxy>:<port> -d "ip=myip" - 查询当前主机公网IP信息，这个命令可以验证代理IP是否可用，同时获取代理IP的归属地
IP138 - 查询IP归属地、手机号段等
在线UA库 - 各种真实浏览器UserAgent列表
WEB前端助手 - Chrome插件，提供大量实用工具，如JSON格式化，编解码等
在线加解密算法大全 - 含DES, AES, RSA等，可用于快速验证加解密算法
beautifier.io - js代码在线格式化
estree - ECMAScript抽象语法树(AST)业界标准
ECMAScript262语言规范 - 帮助理解estree
acornjs - ECMAScript编译器前端，将js源码解析成estree格式的AST
astring - ECMAScript代码生成器，将AST重新还原成js源码

rockswang/awesome-java-crawler