/Get_58_Data

利用WebMagic框架进行58同城数据的抓取

Primary LanguageHTML

Get_58_Data

利用WebMagic框架进行58同城数据的抓取

###简要说明

使用WebMagic框架进行数据抓取

针对58同城对于同一IP频繁访问的问题采用代理解决

其中proxy.conf为代理的配置文件

实现代码为webmagic下WebMagic.java,GetProxy.java,FiveEightPageProcessor.java,JobPageProcessor

其余代码为学习WebMagic时测试代码