百度 | 神马 | 搜狗 | 技术文档 | 学习资料分享 - 记录帝国CMS及运维技术的点点滴滴
你的位置:首页 > 实用IT技术 » 正文

【爬虫相关】The Knowledge AI是什么新型的蜘蛛爬虫?

发布时间:2020-09-17

作品分类:爬虫相关  蜘蛛  爬虫  国外  爬虫  蜘蛛  Knowledge  AI

最近从网站的日志中发现一些奇怪的蜘蛛,包括Barkrowler,DuckDuckGo Favicons Bot,还有The Knowledge AI,那么The Knowledge AI是什么新型的蜘蛛爬虫?

据webmasterworld国外的网友反馈,这个蜘蛛爬虫的主机是Hurricane Electric he.net 的

UA: The Knowledge AI
Protocol: HTTP/1.1
Robots.txt: Yes
Host: Hurricane Electric he.net
66.160.128.0 – 66.160.207.255
66.160.192.0/20, 66.160.128.0/18

而Hurricane Electric(HE)是国外免费DNS服务商,不过不知这个具体情况如何

Top