关于头条搜索 Bytespider

作者:管理员发布时间:阅读数:32




头条搜索(https://m.toutiao.com/search)目前只有移动端版本,似乎也就间接意味着头条搜索是一个移动搜索引擎,官方有时也叫做字节跳动搜索。,从以前的“Bytespider”改变为“Bytespider;bytespider@bytedance.com”,添加了一个邮箱, 

通过抓取的 UA 基本可以完整的判断都是属于移动端或者手机设备的抓取,同时为了方面查下抓取的服务器 IP 是否真实为头条搜索,还可以通过 IP 反查服务器名称,如果主机名为:bytespider-220-243-135-89.crawl.bytedance.com。那么这就是标准的头条搜索 IP 蜘蛛的服务器啦。