WordPress禁止SemrushBot蜘蛛爬取网站

释放双眼,带上耳机,听听看~!

用WordPress做了一个搜索记录功能,用于搜集用户的喜好,结果作者发现经常有莫名其妙的搜索记录,每天大概有1000多次的搜索量,WordPress自带的搜索非常耗资源,打开网站日志发现,发现很来自国外的垃圾营销蜘蛛SemrushBot的搜索,在宝塔防火墙中屏蔽IP也无效!!

网上找了一下,现成的代码:

#禁止垃圾蜘蛛抓取
if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;}

以宝塔为例,将上代码加到站点配置文件,最后一个”}“前面,当这些垃圾蜘蛛访问网站,只能得到444 没有任何数据。

再加个当链接中包含/search/重定向到其它页面。

代码添加到主题函数模板中:

// 当URL包含 /search/重定向
add_action('template_redirect', 'custom_search_redirect');
function custom_search_redirect() {
// 获取当前请求的URL
$request_url = $_SERVER['REQUEST_URI']; 
// 检查当前URL是否包含 /search/
if (strpos($request_url, '/search/') !== false) {
// 如果是,则进行重定向到其他页面
wp_redirect('https://www.baidu.com/');
//wp_redirect(home_url('/new-page/'), 301);
exit();
}
}
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
正版小程序

驾考搜题学法减分小程序 驾考搜题答题模拟考试精准题库拍照搜题saas系统独立后台

2024-6-10 13:28:51

七七八八

WordPress禁止用户访问sitemap,只允许搜索引擎蜘蛛访问方法

2024-4-6 3:21:07

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索