模拟蜘蛛UA访问网址

工具介绍

本工具可以模拟各种搜索引擎蜘蛛（Spider）的User-Agent访问指定网址， 帮助网站管理员测试网站在搜索引擎爬取时的表现，检查robots.txt规则执行情况， 以及验证网站对搜索引擎的友好性。