发布时间:2020-09-17
最近从网站的日志中发现一些奇怪的蜘蛛,包括Barkrowler,DuckDuckGo Favicons Bot,还有The Knowledge AI,那么The Knowledge AI是什么新型的蜘蛛爬虫?
据webmasterworld国外的网友反馈,这个蜘蛛爬虫的主机是Hurricane Electric he.net 的
UA: The Knowledge AI
Protocol: HTTP/1.1
Robots.txt: Yes
Host: Hurricane Electric he.net
66.160.128.0 – 66.160.207.255
66.160.192.0/20, 66.160.128.0/18
而Hurricane Electric(HE)是国外免费DNS服务商,不过不知这个具体情况如何
全站搜索