codedrinker/lagou-spider

用 JAVA 写的万能爬虫

场景

通过 selenium 实现模拟人为操作自动化根据，工作经验，学历要求，公司规模，行业领域抓取拉钩薪资范围

环境准备

• JDK 下载地址
• IDEA 下载地址
• Selenium

    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-server</artifactId>
        <version>3.141.59</version>
    </dependency>

实战

页面分析

过滤条件设置

元素解析

分页

重构

扩展

参考资料

• xpath