不同的站点略有不同,但通常在几天内陆续生效。由于每个网站蜘蛛爬的频率和网站的权重不同(网站的重要性)而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同,最终导致的结果就是robots的生效时间不同。
技术文章 / 下载软件趣味内容 / 专业带飞