蜘蛛陷阱是指:阻止蜘蛛程序爬行网站的障碍物,如站内搜索、电商产品、flash网站、限制性内容等。蜘蛛陷阱的最大特点是:当蜘蛛抓取某个特定URL时,它便进入了无限循环,只有入口,没有出口。
技术文章 / 下载软件趣味内容 / 专业带飞