曾经有段时间，我的网站每天都在消耗巨大的流量，然而一查日志，发现都是一些垃圾蜘蛛。

这些垃圾蜘蛛除了消耗服务器资源不对给我们带来任何好处，最好直接屏蔽。

我写了一份 robots.txt 来屏蔽常见的垃圾指数，分享给大家，建议收藏。


User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: MauiBot
Disallow: /

这份 robots.txt 规则能屏蔽哪些爬虫？

User-agent	所属公司/项目	主要用途	被禁止的原因
AhrefsBot	Ahrefs	用于收集网页数据以进行SEO分析和反向链接检查。	可能消耗大量服务器资源，影响网站性能。
MJ12bot	Majestic-12	爬取网页以建立链接索引，支持Majestic搜索引擎的链接分析功能。	高频爬取可能导致服务器负载过高。
DotBot	DotNetDotCom.org	为SEO工具提供数据支持，收集网页信息。	爬取行为可能过于频繁，影响正常访问。
SemrushBot	Semrush	收集数据以支持SEO竞争分析、关键词研究等营销工具。	大量爬取可能导致资源占用过高。
ZoominfoBot	ZoomInfo	收集企业联系信息和公开数据，用于商业数据库。	可能抓取非公开信息或导致隐私问题。
BLEXBot	Content ad	爬取网页内容以生成广告或内容推荐。	可能抓取敏感内容或消耗过多带宽。
aiHitBot	aiHit	为aiHit公司收集企业数据，用于商业数据库。	爬取频率高或目标数据可能涉及隐私。
Mail.RU_Bot	Mail.RU (俄罗斯邮件服务)	为Mail.ru搜索引擎索引内容。	可能因爬取策略激进被网站屏蔽。
XoviBot	Xovi (SEO工具)	支持Xovi的SEO分析工具，爬取网页数据。	高频请求可能干扰正常服务。

完整规则如下（建议直接复制使用）：

如何应用这份规则？

登录服务器，找到网站根目录。
创建或修改 robots.txt，粘贴上述规则。

你还建议屏蔽哪些呢？欢迎给我留言！

95分类目录 - 版权声明1、本主题所有言论和图片纯属会员个人意见，与本站立场无关。
2、本站所有主题由该文章作者发表，该文章作者与95分类目录享有文章相关版权。
3、其他单位或个人使用、转载或引用本文时必须同时征得该文章作者和95分类目录的同意。
4、文章作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任。
5、本帖部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责。
6、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意。
7、95分类目录管理员有权不事先通知发贴者而删除本文。