ZSAIm/VideoCrawlerEngine
起源于旧项目爱奇艺解析器(iqiyi-parser)在开发、维护和扩展的过程中遇到的一些问题,而实现的一个基于任务流式的可视化爬虫引擎。引擎的执行单元是节点。脚本节点(script)作为根节点来完成对节点和流程的描述,经由任务节点(task)解析流程描述并生成节点的执行队列,最后交由工作者执行池处理。整个过程可视可控,所有节点处理器都以插件的形式导入,以最大程度实现易扩展性。
Python
Stargazers
- BlackTrace
- bnightning南京 中国
- bytemain@Alipay
- Coderot-H14
- Daic115Xiamen University
- fraaannn
- hahaha108
- huipenglyBeijing, China
- hurricanetx
- InchIK
- KrystalC
- Lamination
- lazyDevilDevQ
- Left-Hai
- liao7877
- likeyno
- liuweikyTsinghua University
- liuwilliamBUPT
- liyfree
- ls-v
- macdavis
- Markiiiiiiii
- MrNiebit
- mtianyan成都
- nilaodaTYUT
- payiz-asjJiangsu, China
- pingxingshikongjd
- Seversh
- soxgoonqqEarth
- terrychen92
- theflowx
- TvsAECC
- WangJh1031zjiet.edu.cn
- wuyongyiLambdaX
- xhloveChina
- xkaaaaaahangzhou