【爬虫相关】Alexa crawler 是什么蜘蛛爬虫

发布时间：2020-09-17

Alexa crawler 是世界知名排名网站 Alexa的蜘蛛爬虫，Alexa是一家专门发布网站世界排名的网站。以搜索引擎起家的Alexa创建于1996年4月（美国），目的是让互联网网友在分享虚拟世界资源的同时，更多地参与互联网资源的组织。

alexa蜘蛛的一般日志形式是ia_archiver 因为后来被亚马逊收购了，所以他的蜘蛛nslookup返回值是亚马逊的AWS的地址 .compute-1.amazonaws.com