/crawlers

简单的爬虫小框架

Primary LanguageGo

crawlers

这是一个基于goquery简单的爬虫小框架

#简单构建

go build

#action为启动项,目前就一个,以后会慢慢加
#config为配置文件切换
./crawlers -action="wechat" -config="dev"

#2018-08-27 add
./crawlers -action="yuqing" -config="dev"

model里存放着数据库文件需要运行

目前只是简单的写了一个搜狗上微信公众号内容的抓取,将来会不断增加。

如果你有什么想要爬取的页面,可以留言给我我可以顺便写上