简介
gospider 是一个golang 爬虫神器,拥有python到golang爬虫过渡的所有必需库。用于python爬虫从业者快速且无坑的过渡到golang
- 请求库:ja3指纹,http2 指纹,主流代理协议,类型自动转换,覆盖python requests 所有的功能
- 并发库:自实现高性能并发库
- 执行js,py: 通过管道调用js,python 中的方法
- 操控浏览器的库:建议直接用这个库,基于cdp 协议操控浏览器,干净,快速
依赖
- go1.20 (不要低于这个版本)
安装 (不要拉github的包,go包路径只能在gitee和github选一个,拉github包会出现路径问题)
go get -u gitee.com/baixudong/gospider