selenium如何爬取js现实的网页
Closed this issue · 2 comments
Totie-O commented
李老师,我最近想用selenium模拟浏览器,登录淘宝千牛后台(我想下载自家公司的链接评论)
但是我在浏览器上面能定位到这个两个输入框,但是用python代码去模拟浏览器点击会报错,说定位不到这个元素
我猜原因可能是网页通过动态生成,但这种网页我以前没有遇到过,不知道怎么解决,李老师能不能给个指引啥的,谢谢
neolee commented
这类大厂的商业网站一般会有很多防抓取的设计,不容易搞定,可能要针对目标网站做尝试,可以先搜索下有没有人干过,比如
https://blog.csdn.net/qq_53953480/article/details/130606111
这个你有试过么?
Totie-O commented
感谢李老师的指点,我成功用selenium爬到自己想评论了