/JieMeng

周公解梦数据抓取

Primary LanguageJavaScriptMIT LicenseMIT

周公解梦数据抓取

抓取链接:http://tools.2345.com/zhgjm.htm

目标:周公解梦所有数据

step1 npm install

安装puppeteer、mysql等抓包工具、mysql服务。

step2 创建mysql数据表,配置mysql.config.js

数据库sql 在config/data.sql,自行运行创建

配置config/mysql.config.js

step3 配置jm.config.js

1.按分组抓取 配置config/jm.config.js,填写分组id,分组对应的url.

运行

npm run index

2.关键词抓取完成后,抓取keywords表中href链接

运行

npm run details