MountainDash/nonebot-bison

微博也许需要支持登陆模块

Opened this issue · 10 comments

b1xcy commented

环境

  • nonebot-bison 版本:
  • nonebot 版本:
  • 安装方式:(以下方式的一种或者其他方式)
    使用docker-compose启动
  • 操作系统:
    ubuntu

问题

在未登录情况下,部分用户的微博的风控可能出现问题,导致未登录的用户无法从https://m.weibo.cn/api/container/getIndex?containerid=接口获取用户数据
image

日志

  • 我搜索过了 issue,但是并没有发现过与我类似的问题
  • 我确认在日志中去掉了敏感信息

这个规划很久了但没有做,一个重要的原因是带 cookie 的请求发太快可能会连账号带 ip 一起 ban。用什么样的策略和速度可能会比较难验证(代价可能也比较大

b1xcy commented

问了一下,好像把爬虫间隔设置到5-10s就没问题了(带cookie的情况下),也许可以先用10s试试?

借地方问下这个爬虫的间隔在哪设置,翻了几遍文档没看到。

(写死的)

这个不考虑做成配置吗,那是在代码的哪个位置呢。

去源代码改(

platform/平台名.py::xxxSchedConf.schedule_setting

好的,谢谢

你来pr一个就支持配置了(