/bots

Nginx 屏蔽垃圾網頁蜘蛛

Nginx 屏蔽垃圾網頁蜘蛛配置文件

服務器資源有限,受不了垃圾蜘蛛一天到晚的爬取,爬取也就算了,還拿去當做自己盈利點,果斷屏蔽!

本配置文件適合 nginx,apache 可以自己對照著修改,機器人不斷更新中,大家可以根據自己的需要添加或刪除。

用法:

① 下載配置文件,放到適當的位置,比如:

cd /usr/local/nginx/conf/vhost/ && wget https://raw.githubusercontent.com/vircloud/bots/master/deny-bots.conf

② 修改站點配置文件,在適當的位置引入配置,比如:

server

{

......

include deny-bots.conf;

......

}

③ 重啟 nginx 服務:

service nginx reload

444 狀態碼說明:直接由服務器中斷連接,不會向客戶端再返回任何消息,此為 nginx 獨有。

更多方法参见:网站如何屏蔽垃圾蜘蛛爬取?