/generic-crawler

A generic paginating web crawler

Primary LanguageTypeScript

generic-crawler

一个通用的爬虫封装,同时支持按页码分页和按游标分页。

使用

npm i @youmoo/generic-crawler
import {Crawler, Page} from '@youmoo/generic-crawler';

分页示例

按页码分页示例

略。

按游标分页示例

见项目源码: crawl-by-cursor.template.ts