最近发现网站抓取的速度特别慢,发现一个问题是我开启了宝塔防火墙中的“非浏览器请求”,因为下面的蜘蛛池更新不及时,导致蜘蛛被服务器阻挡在外,但是我们该怎么准确地查看某个IP是否是百度引擎的蜘蛛IP呢?
我发现了一个网站百度蜘蛛IP汇总 – IPlayIO中文网,在这里直接Ctrl+F即可查阅最新的蜘蛛信息,保证是准确可靠且最新的,如果蜘蛛IP被拦截,请尽快设置白名单,保证蜘蛛能正常爬取网站。
现在想想亏死了,一万次蜘蛛来访被我当成攻击阻挡了,真服了!
最近发现网站抓取的速度特别慢,发现一个问题是我开启了宝塔防火墙中的“非浏览器请求”,因为下面的蜘蛛池更新不及时,导致蜘蛛被服务器阻挡在外,但是我们该怎么准确地查看某个IP是否是百度引擎的蜘蛛IP呢?
我发现了一个网站百度蜘蛛IP汇总 – IPlayIO中文网,在这里直接Ctrl+F即可查阅最新的蜘蛛信息,保证是准确可靠且最新的,如果蜘蛛IP被拦截,请尽快设置白名单,保证蜘蛛能正常爬取网站。
现在想想亏死了,一万次蜘蛛来访被我当成攻击阻挡了,真服了!
没有回复内容