百度 | 神马 | 搜狗 | 技术文档 | 学习资料分享 - 记录帝国CMS及运维技术的点点滴滴
你的位置：首页 > 实用IT技术 » 正文

【SEO优化】神马搜索蜘蛛 YisouSpider 详细及 User Agent 判断

发布时间：2020-09-17

作品分类：SEO优化  神马  蜘蛛  判断  神马  蜘蛛  判断  详细  Agent

神马搜索蜘蛛 YisouSpider 详细及 User Agent 判断,

关于蜘蛛 在互联网前几年可谓是怨声载道，许多的网站被过于频繁的抓取而导致服务器瘫痪等情况不在少数，其实看 YisouSpider 这个蜘蛛的名称就应该知道，神马搜索的前身就是“宜搜”，如果IT131没记错的话这曾经是一个小说搜索引擎，后来被阿里拿下就正式定位于手机搜索引擎。

今天IT131之所以又来说到神马，并不是因为神马带来了非常客观的流量，只是因为神马最近开始支持 MIP 规范，而由于IT131的一些网站接入 MIP 是用 判断来做的代码适配，也就是说之前只是针对百度移动搜索蜘蛛和 mip 的 User Agent，而现在需要将网站的 MIP 端对神马搜索的开发，故而才有了今天的这篇文章。

先来看IT131从网站日志中扒下来关于 YisouSpider 的几个记录：

1
2
3
4
5
6

42.156.136.21 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
42.156.137.44 - "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1"
42.156.138.31 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.14 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
42.156.137.33 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"
106.11.156.57 - "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36"

在神马站长平台官网虽然看到了关于 YisouSpider 的一些介绍，却也描述得模棱两可，基本没有任何参考而言，网络上搜索了一些也全是 YisouSpider 几年前的东西了，所以无奈还是只能自己动手来看看了。

通过上面IT131扒下来的，通过通过 IP 段加上完整的 User Agent，通过 IP 观察可以发现这是同一个 IP 段，应该也就是服务器集群的一组 IP 池，基本可以判断为是神马搜索蜘蛛无疑，通过 User Agent 的内容则可以判断，一种为移动端的 User Agent，一种则为 PC 端的 User Agent。

关于 User Agent 的使用和判断方面的代码由于IT131曾在“”就写到过，这里就不赘述和重复了，感兴趣的可以移步去看看。

Top