这个下载器是使用Java开发的爬虫程序,目前我只支持了猫扑,但重点不在这里
这是一个很好的爬虫示例,涵盖了URL队列 页面爬取 数据转码 数据转存和控制台详细输出
目前程序是单线程的(我反正一老挂在后台,单线程消耗不大,就让他慢慢下了),但整个程序是按面向对象的**开放的,你可以很方便的将其转为多线程
代码里我加了很多注释,如果还有不懂可以加群讨论[106118929]
欢迎访问 [Kaiser.Host][https://kaiser.host] 获取更多精彩
这个下载器是使用Java开发的爬虫程序,目前我只支持了猫扑,但重点不在这里
这是一个很好的爬虫示例,涵盖了URL队列 页面爬取 数据转码 数据转存和控制台详细输出
目前程序是单线程的(我反正一老挂在后台,单线程消耗不大,就让他慢慢下了),但整个程序是按面向对象的**开放的,你可以很方便的将其转为多线程
代码里我加了很多注释,如果还有不懂可以加群讨论[106118929]
欢迎访问 [Kaiser.Host][https://kaiser.host] 获取更多精彩