zhegexiaohuozi/JsoupXpath

你好，怎么实现抓取包含js渲染的网站

FrankCy opened this issue · 4 comments

FrankCy commented

Please answer these questions before submitting your issue. Thanks!

  1. What did you do , If possible, provide a recipe for reproducing the error.（使用的表达式与使用场景，确保能够复现）?
    抓取有包含js渲染的网站，jsoup怎么获取ready()之后的信息？

  2. What did you expect to see（期望看到什么）?
    可以获取ready()之后的页面信息，再通过xpath获取内容

  3. What did you see instead（JsoupXpath给出的结果）?
    无法渠道

  4. What version of JsoupXpath are you using（当前版本）?
    最新版本

zhegexiaohuozi commented

你这个问题针对JsoupXpathHTML解析器问就有点文不对题了

FrankCy commented

...能给点建议吗？我看了官网api还有jsoupxpath写的部分实现，也没有找到，不是传入一个参数就可以吗？是jsoupxpath无法满足这个要求吗

zhegexiaohuozi commented

JsoupXpath是HTML解析器，只是负责提取数据的。你要做的是如何拿到渲染好的页面，这方面可以研究学习下selenium。他们是两个方向的东西，不能混为一谈。

FrankCy commented

好的，谢谢，已经解决了，JsoupXpath挺棒的，是我理解偏差，以为集成了渲染页面的docment解析