新站不收录不必忽视了robots.txt文档

2021-05-16 02:49


新站不收录不必忽视了robots.txt文档


短视頻,自新闻媒体,达人种草1站服务 今日不经意中看到1位站长盆友的诉说,讲的是他新站为何沒有被收录,从发现难题的缘故到处理难题中1系列的工作中。觉得较为典型,许多人将会会遇到,如今贴出来共享给大伙儿。

难题缘故:

该站长在新站上线后没多久,网站內部就出現了重特大的bug(系统漏洞)。该站长先用robots.txt文档屏蔽了检索模块的的抓取,随后对网站的bng开展修补。

难题解决:

直到网站的bug修补进行后,该网友再度对robots.txt文档开展了改动,容许全部检索模块的抓取。表层上看作到这1步便可以等检索模块过来抓取內容了,但是1个礼拜以往网站1点反映也沒有,查询网站系统日志,连蜘蛛都木有来过。因而果断删掉了网站的robots.txt文档。

难题基本原理:

根据百度搜索站长专用工具检验,发现了原先缘故就掩藏在robots.txt文档中,当他发现网站有bng的情况下,他严禁了检索模块的抓取,而蜘蛛发现这个网站是严禁抓取的,就会默认设置1个時间段不在去爬了。百度搜索的站长专用工具显示信息,网站robots.txt文档升级時间就滞留在严禁检索模块抓取的那天,之后都没在升级过。这也就更为证实了蜘蛛在爬取到1个严禁抓取的网页页面,它就不在抓取,并默认设置下一次在来抓取的時间间距,这便可以解释了许多站长为何在消除robots.txt文档限定蜘蛛抓取后,也要1段才会再次收录新內容的缘故了,只是之前百度搜索沒有出站长专用工具大家不知道道罢了。

处理方法:

了解了基本原理,那末处理起来也就非常容易多了。大伙儿请看下图:

 

先去启用百度搜索站长专用工具-robots.txt专用工具,在升级1下便可以了,新站沒有收录1定不必忽视robots.txt文档。

本文版权:SEO学馆lyylx 转载请注明!




扫描二维码分享到微信

在线咨询
联系电话

020-66889888