如何限制谷歌蜘蛛的爬取频率?

最近发现自己的一个网站,资源使用的非常大,经过排查发现谷歌蜘蛛每天的爬取频率达到了一百多万次,对服务器造成了比较大的资源浪费。

20200817-自动草稿-1597677163.png插图

因为谷歌在国内的访问障碍,消耗这么大服务器资源的同时,谷歌带来的访问量是不成比例的,每天平均差不多只有20个访客。

20200817-自动草稿-1597677164.png插图(1)

那么,如何限制谷歌蜘蛛的爬取频率对服务器的影响呢?

1、如果可以彻底不需要国外ip的访问,可以直接一次性屏蔽掉所有国外ip对服务器的访问;

2、如果需要让国外用户访问,可以用robots文件禁止谷歌蜘蛛爬取;

3、如果还需要保持一定的谷歌优化,可以在谷歌站长工具中进行限制(google search console),

访问,https://www.google.com/webmasters/tools/home?hl=zh-CN

先验证站点权限,然后访问老版本地址,把下面网址中的网站地址换成你的网址,

https://www.google.com/webmasters/tools/settings?siteUrl=https://www.haowuba.com/

然后选择滑道到最低即可,一般次日生效。

20200817-自动草稿-1597677166.png插图(2)

人已赞赏
wordrpess

宝塔面板安装memcached并在WP使用batcache

2020-8-15 11:52:39

wordrpess

WordPress 实现附件上传自动重命名但不改变附件标题

2020-8-19 17:16:46

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索