一个快速,简单,易用的 node.js 爬虫框架.
WARNING: 当前仍处于开发阶段,任何存在的特性都可能会更改或者移除
- 访问频率限制
- 暂停和恢复爬取
- 连接上一次记录续爬
- 内置的 jQuery 选择器
- 内置的资源下载工具
- IP 代理设置
- 数据统计
- 自定义 HTTP 方法、请求体
- 错误重试
npm install @axetroy/crawler
import { Crawler, Provider, Response } from "@axetroy/crawler";
class MyProvider implements Provider {
name = "scrapinghub";
urls = ["https://blog.scrapinghub.com"];
async parse($: Response) {
const $nextPage = $("a.next-posts-link").eq(0);
if ($nextPage) {
$.follow($nextPage.prop("href"));
}
return $(".post-header>h2")
.map((_, el) => $(el).text())
.get();
}
}
const config: Options = {
timeout: 1000 * 5,
retry: 3
};
new Crawler(MyProvider, config)
.on("data", (articles: string[]) => {
for (const article of articles) {
process.stdout.write(article + "\n");
}
})
.on("error", (err, task) => {
console.log(`request fail on ${task.url}: ${err.message}`);
})
.start();
如何运行 demo?
> npx ts-node examples/basic.ts
这里有相关的例子
The Anti 996 License