情况一网页已不存在
如果网页已不存在,请确保服务器返回 404(未找到)。这样可让搜狗知道该网页已不存在,无需再在搜索结果中显示。
情况二网页仍存在
请使用 robots.txt 阻止 sogou spider 进行抓取。请注意,在通常情况下,即使您已通过 robots.txt 禁止抓取某个网址,但如果我们在其他网站中发现该网址,仍会将相应网页编入索引。这里需要说明一点,如果页面变死链了,并且设置了robots.txt,那么搜狗的spider就不会再来更新,也就不知道这个页面变死链。
情况三删除非 HTML 格式的文件
如果要从搜索结果中删除非 HTML 格式的文件(例如可下载的 PDF),则您或网站站长应确保从服务器中删除该文件。
来源:搜狗资源平台
没有回复内容