屏蔽垃圾搜索引擎蜘蛛，减少服务器负担

之前小轻论坛 被一些垃圾的搜索引擎抓取，导致网站十分卡顿，想想网站安装了防火墙，还加了防御CDN，怎么就感觉被CC一样，同一IP和同一IP段不断访问我的站点，而且是那种分秒级的，访问量十分恐怖，导致网站负载100%，无法访问。

究其原因，有某些不知名的搜索引擎在爬取我的论坛内容，其中就包含神马，所以我在robots.txt文件中对神马蜘蛛进行了屏蔽，这下子网站就稳定多了！

User-agent: YisouSpider
Disallow: /

神马蜘蛛的名称是YisouSpider，很多小网站站长也深受其害。

那如何屏蔽其他家的搜索引擎，以适应自身企业的运营范围呢？

User-agent: YisouSpider
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB
Disallow: /
user-agent: AhrefsBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: Uptimebot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: Mail.Ru
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: Researchscan
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: spbot
Disallow: /
User-agent: YandexBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SemrushBot-BA
Disallow: /
User-agent: SemrushBot-SI
Disallow: /
User-agent: SemrushBot-SWA
Disallow: /
User-agent: SemrushBot-CT
Disallow: /
User-agent: SemrushBot-BM
Disallow: /
User-agent: SemrushBot-SEOAB

当然，我们网站的价值来自于搜索引擎的曝光，请不要因为服务器压力就随便屏蔽搜索引擎的蜘蛛，在网站技术的指导下完成。