【站长工具】Exabot是什么蜘蛛爬虫？

发布时间：2020-09-17

Exabot是什么蜘蛛爬虫？Exabot是法国Exalead搜索引擎的蜘蛛，如果不想让它来抓取的话，可以用robots文件禁止抓取。一般很多国外营销网站会养蜘蛛，然后进行爬取网站，有些蜘蛛给服务器造成很大压力，浪费流量，所以建议没有做本地市场的可以禁掉