如何在爬虫框架中开启ip 代理

Question

如何在爬虫框架中开启ip 代理

Opened this issue 6 years ago · 2 comments

gitama2016 commented 6 years ago

如何在爬虫框架中开启ip 代理

Answer 1 · 2018-11-30T08:10:41.000Z

有很多中方案，
1.实现 com.virjar.vscrawler.core.net.proxy.strategy.ProxyPlanner
2. 提供com.virjar.vscrawler.core.net.proxy.IPPool的实现，然后设置com.virjar.vscrawler.core.net.proxy.strategy.ProxyStrategy
3. 实现 com.virjar.vscrawler.core.event.systemevent.SessionCreateEvent，然后在这里设置代理：
crawlerSession.setExtInfo(VSCRAWLER_AVPROXY_KEY, proxy);

Answer 2 · 2018-11-30T08:13:41.000Z

有很多中方案，
1.实现 com.virjar.vscrawler.core.net.proxy.strategy.ProxyPlanner
2. 提供com.virjar.vscrawler.core.net.proxy.IPPool的实现，然后设置com.virjar.vscrawler.core.net.proxy.strategy.ProxyStrategy
3. 实现 com.virjar.vscrawler.core.event.systemevent.SessionCreateEvent，然后在这里设置代理：
crawlerSession.setExtInfo(VSCRAWLER_AVPROXY_KEY, proxy);

哦哦多谢