/MihoyoBBS

Mihoyo BBS, HonkaiImpact 3rd , Reptile program

Primary LanguagePython

MihoyoBBS

Mihoyo BBS, HonkaiImpact , Reptile program

米哈游的bbs论坛的爬虫程序。

调用方法

1.手动输入链接

topicDetailParser(url, parseCtl, isGood=False, isHot=False)

  • url(string) : 主页面地址

  • parseCtl(int) : 爬取次数，默认为 10

  • isGood(bool) : 按照“精华”排序，默认为 False

  • isHot(bool) : 按照“热门”排序，默认为 False

  • 当 isGood = isHot = False 时，默认按照“最新”排序

2.通过分类爬取

depParse(getType, parseCtl = 10, isGood = False, isHot = False, sort = 'create', GFNType = 1)

  • getType(tiltleType) : 自定义在 MihoyoBBs 的 “titleType” 中

  • parseCtl(int) : 爬取次数，默认为 10

  • isGood(bool) : 按照“精华”排序，默认为 False

  • isHot(bool) : 按照“热门”排序，默认为 False

  • sort(string) : 用于“问答”爬取， 默认为 “create”

  • GFNType(int) : 官方的新闻类型，包括“2 - 活动”，“1 - 公告”，“3 - 资讯”，默认为 1

  • depParse的调用顺序：

    depPase -> depJsonParser -> searchArticles -> getContent -> print_page -> downloadImgs

详细使用可以参照test.py 并且代码注释很详细