/laosj

golang light-weight image crawler

Primary LanguageGoApache License 2.0Apache-2.0

laosj(老司机)

Build Status Go Report Card codebeat badge License

logo

基于goquery的轻量级爬虫, 图片下载器支持分布式, 可以自定义下载并发量。

Releases

  • mzitu 爬取mzitu.com/taiwan (图片下载依赖redis作为url队列)
  • mzituzp 爬取mzitu.com/share (图片下载依赖redis作为url队列)
  • aiss-darwin 根据接口下载爱丝图片(依赖redis作为url队列)
  • jav 获取番号列表及根据番号获取种子文件 (无依赖)
  • douban-group 抓取并下载豆瓣小组图片(依赖redis作为url队列)

代码上手

下载
go get -u -v github.com/songtianyi/laosj
安装redis
golang.org/x依赖安装
mkdir $GOPATH/src/golang.org/x
cd $GOPATH/src/golang.org/x
git clone https://github.com/golang/net.git
编译并运行样例
go build mzituzp.go
./mzituzp

截图

laosj

微信交流群