/nscan

NodeJs 网页采集器

Primary LanguageJavaScript

NScan

基于 NodeJs 的网页采集器，像 Vue 一样简易配置

快速开始

数据库配置：

/app/config/default.js

module.exports = {
  mongodb: 'mongodb://'
}

采集示例和配置详见：

/app/demo/

启动采集：

npm run start

里程碑

  • 分页采集
  • 详情页采集
  • 静态页面采集
  • 自动编码检测
  • 复杂分页采集
  • GET 采集
  • POST 采集
  • API 采集
  • 定时采集
  • 采集状态持久化
  • 采集日志
  • 自动任务扫描
  • 任务管理器