/SpiderConfig

一个用于增量式爬虫抓取目标url、目标html源码等功能的通用配置父类。

Primary LanguagePython

SpiderConfig

一个用于增量式爬虫的通用配置模版,可以获取目标url,获取目标html源码,字符串清洗,以及获取增量更新次数