如何正确识别百度蜘蛛以及真伪检测

　　我们经常在网站日志中看到各种爬虫aclasstaghrefwiki10582IQM2kMM。html抓取a记录，最常见的就是百度蜘蛛等搜索引擎，以百度为例，通常我们判断是否是百度蜘蛛抓取看用户代理字符串也就是UserAgent，但是UserAgent是可以模拟的，所以很多时候也会有虚假的模拟伪装成百度蜘蛛来抓取，这时候我们就需要学会分辨真伪。
　　首先是百度UserAgent代理字符串，百度官方公布的有如下UserAgent：
　　移动UA：Mozilla5。0（Lu；Android4。2。2；）AppleWebKit534。46（KHTML，likeGecko）Version5。1MobileSafari10600。6。3（Baiduspider2。0；searchspider。html）
　　PCUA：Mozilla5。0（Baiduspider2。0；searchspider。html）
　　新增渲染UA：
　　移动UA：Mozilla5。0（iPCPUiPhoneOS91likeMacOSX）AppleWebKit601。1。46（KHTML，likeGecko）Version9。0Mobile13B143Safari601。1（Baiduspiderrender2。0；searchspider。html）
　　PCUA：Mozilla5。0（Baiduspiderrender2。0；searchspider。html）
　　需要注意的是百度新增了一个移动的UserAgent，和一个PC的UserAgent。我们知道了百度蜘蛛的UserAgent，如何正确识别和判断某条抓取是否是真实的百度蜘蛛。
　　如何识别百度蜘蛛
　　1、首选我们需要通过关键词找UserAgent中是否包含B
　　2、如果想区分移动和PC的蜘蛛的话，我们还需要在结果中再进行关键词过滤，移动端的UserAgent包含：Android、iPhone、Mobile等三个中至少一个。
　　3、通过上述操作我们可以分辨出哪些抓取是百度蜘蛛抓取，但并不能分辨真伪。
　　判断百度蜘蛛真伪
　　1、验证百度蜘蛛真伪我们一般使用的是DNS反查IP的方式来进行判断，首选我们需要找到上述抓取记录中蜘蛛的IP。
　　2、以windows操作系统为例，开始运行中输入cmd弹出窗口中输入nslookup（上述IP地址），判断百度蜘蛛的真伪，真是百度蜘蛛结果中会返回以或。baidu。jp的格式命名hostname，如不包含则为假百度蜘蛛。
　　3、也有在线百度蜘蛛真伪查询工具可直接查询。
　　原创文章，如果对您有帮助请点关注。