微博也许需要支持登陆模块
Opened this issue · 10 comments
b1xcy commented
felinae98 commented
这个规划很久了但没有做,一个重要的原因是带 cookie 的请求发太快可能会连账号带 ip 一起 ban。用什么样的策略和速度可能会比较难验证(代价可能也比较大
b1xcy commented
问了一下,好像把爬虫间隔设置到5-10s就没问题了(带cookie的情况下),也许可以先用10s试试?
sapphire159 commented
借地方问下这个爬虫的间隔在哪设置,翻了几遍文档没看到。
felinae98 commented
(写死的)
sapphire159 commented
这个不考虑做成配置吗,那是在代码的哪个位置呢。
AzideCupric commented
去源代码改(
AzideCupric commented
在 platform/平台名.py::xxxSchedConf.schedule_setting
sapphire159 commented
好的,谢谢
AzideCupric commented
你来pr一个就支持配置了(
Nenot233 commented