/selenium-php

php selenium 数据采集

Primary LanguagePHP

使用 php 配合 selenium 进行数据采集,手摸手教学

tips!

本项目以采集 猪八戒任务 为例仅用于学习交流,采集前请阅读 robots.txt 协议

禁止用于非法行为,后果自负

运行环境及依赖说明

运行环境:php7.1,redis-4.0,mysql-5.6
依赖:java,chrome,chromedriver,selenium

依赖下载,已在百度网盘帮你准备好

链接:https://pan.baidu.com/s/1gbSckvixLMbW5JB3eaY6dQ 提取码:29qb

如不使用网盘,依赖包下载链接如下

依赖1: java jdk8 download

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

依赖2: chrome download, my version: 76.0.3809.132

https://www.chromedownloads.net/

依赖3: chromedriver download, my version: 72.0.3626.69

https://chromedriver.storage.googleapis.com/index.html?path=72.0.3626.69/
download other version:
https://chromedriver.storage.googleapis.com/index.html

依赖4: selenium server download, version: selenium-server-standalone-3.141.59

https://www.seleniumhq.org/download/

使用流程

  • 安装好运行环境及依赖,并启动
  • 创建数据库,导入数据表 sql
    mysql -u username -ppassword -e "create database selenium_php character set utf8 collate utf8_general_ci" mysql -u username -ppassword selenium_php < zhubajie.sql
  • 配置 .env,redis mysql
  • cd selenium-php
  • java -jar selenium-server-standalone-3.141.59.jar
  • 采集列表页(爬取页码当前写死2~5页)php scripts/zhubajie/spider_list.php >> ./log/spider_list.log 2>&1
  • 列表页采集完成后,将任务丢进 redis 队列(方便详情页多进程采集)php scripts/zhuabajie/get_db_id_to_redis.php
  • 采集详情页 php scripts/zhuabajie/spider_detail.php >> ./log/spider_detail.log 2>&1

FAQ

因为无法验证开发者

sudo spctl --master-disable

windows 如何设置环境变量

https://www.java.com/zh_CN/download/help/path.xml