jumper2014/lianjia-beike-spider

急:总是被反爬虫(人机验证)怎么办呀?

Opened this issue · 2 comments

请问大神怎么做到的300s,7万条数据的啊?
我thread_pool_size = 5,RANDOM_DELAY = 30,
用ershou.py才100多条数据就被人机验证了。实测只有thread_pool_size <= 2才行。。。
注:我修改了一点代码,适配目前的链家二手房网页。

你的问题解决了吗

推荐的参数不错,pool size太大的话ip很容易被墙