基于goquery的轻量级爬虫, 图片下载器支持分布式, 可以自定义下载并发量。
- mzitu 爬取mzitu.com/taiwan (图片下载依赖redis作为url队列)
- mzituzp 爬取mzitu.com/share (图片下载依赖redis作为url队列)
- aiss-darwin 根据接口下载爱丝图片(依赖redis作为url队列)
- jav 获取番号列表及根据番号获取种子文件 (无依赖)
- douban-group 抓取并下载豆瓣小组图片(依赖redis作为url队列)
go get -u -v github.com/songtianyi/laosj
略
mkdir $GOPATH/src/golang.org/x
cd $GOPATH/src/golang.org/x
git clone https://github.com/golang/net.git
go build mzituzp.go
./mzituzp