PHP群:95885625 Hbuilder+MUI群:81989597 站长QQ:634381967
    您现在的位置: 首页 > 服务器 > Web服务器 > 正文

    nginx如何屏蔽YisouSpider蜘蛛

    作者:admin来源:网络浏览:时间:2020-09-30 00:07:50我要评论
    导读:今天查看自己的网站log,一看吓我一跳,基本上都是被一个User Agent叫"YisouSpider"的东西给刷屏了,一看就不知道是哪的蜘蛛,太没节操了
    今天查看自己的网站log,一看吓我一跳,基本上都是被一个User Agent叫"YisouSpider"的东西给刷屏了,一看就不知道是哪的蜘蛛,太没节操了,这到底是开了多少线程在爬啊,于是就查看了一下ip。原理是阿里巴巴旗下一个叫“一搜视频”的网站发出的蜘蛛。自己想把它屏蔽掉,太消耗服务器资源了,打开nginx配置文件,基本都在/usr/local/nginx/conf/xxx.conf。
    注1:如果需要增加多个过滤,这样做 ($http_user_agent ~* "Spider1|Spider2|Spider3|Spider4"),中间用|隔开就行了

    注2:如果你是用的是子目录博客,像我的一样,那么要找到 "location /blog/" 这样的区段去修改

    location / {
    ......其它配置
    if ($http_user_agent ~* "YisouSpider") {
    return 403;
    }
    }

    配置完成wq保存后reload一下nginx,然后使用以下命令自我测试,地址自己改。没装curl的我就没办法了,自己apt或者yum装一个吧,神器来的。

    curl -I -A "YisouSpider" www.bcty365.com

    看到返回403就可以了,说明配置成功

    nginx如何屏蔽YisouSpider蜘蛛


    转载请注明(B5教程网)原文链接:https://b5.mxunkeji.com/content-122-1180-1.html
    相关热词搜索: