HiddenStrawberry/Crawler_Illegal_Cases_In_China

请教下大家，通过selenium获取某航空公司的航班搜索结果是否违法

rRemix opened this issue · 2 comments

rRemix commented

网站不需要登陆，并且获取到的信息都是网页上直接可以看到的，请求量大概每秒钟一次

1078769434 commented

应该没事 别爬太快就行

zhaotianff commented

我的建议是查看爬虫协议(robots.txt)和用户许可协议。以去哪儿网为例，用户协议中明确了如下：
image

深圳航空
image

所以如果你要抓的这个网站，爬虫协议和用户协议中都没有相关说明的话，在不影响网站运行的情况下，是可以抓取的。