我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?
11-29.123.
如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。
对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。
User-agent: *
Disallow: /*?*
更详细的robots设置方法,可以看下面链接课程
https://ke.seowhy.com/play/9492.html
来源:搜外网
我的网站显示的蜘蛛抓取,有好多动态链接是否有影响?是否需要处理。该如何处理?
11-29.123.
如果不是自己网站本身实际存在的url,很可能是网站由于被人刷,导致的。
对应这些动态链接,可以在robots文件中,写一个屏蔽抓取动态链接的语法。
User-agent: *
Disallow: /*?*
更详细的robots设置方法,可以看下面链接课程
https://ke.seowhy.com/play/9492.html
来源:搜外网
没有回复内容