/starix-crawler

一个基于Go语言的通用网络爬虫框架

Primary LanguageGo

starix-crawler

一个基于Go语言的通用网络爬虫框架

参考《Go并发编程实战(第2版)》一书中关于爬虫框架的章节实现

本框架除了使用了第三方日志框架logrus,大部分代码都是通过Golang原生库实现的,涉及到较多Golang的并发知识,非常有学习价值和实用价值,后续会再扩展下这个框架,让它更加好用