博客改版添加robots.txt后的影响有哪些?

发布时间:2019-09-07编辑:脚本学堂
本文介绍了在博客改版中添加robots.txt文件后带来的一些影响,有需要的朋友参考下。

  笔者网站7月底—9月底不是进行了一次修改么,在这里分享下修改过程中博客受到的影响,希望对一些博主站长朋友有所帮助。

  此次修改我想将博客的每个页面都修改,修改完成后发现一共修改了17个页面,总的算起来还真是一件不小的工程,我也因此耗费了一个多月的时间,现在想起来如果当我修改的时候要是知道要花一个多月的时间才能改完的话,我还真不知道会不会修改,现在一想起来都还有点害怕,同时也有点欣喜,害怕的是折腾了一个多月,欣喜的是总算改成我比较满意的样子了,还发现原来我对网赚的兴趣以及热情竟然毫不减从前,这确实是值得欣喜的一件事情。

  好了,扯得有点远了吧,现在进入主题,在我修改博客修改了七八天之才修改了5分之一左右,这时我才发现凭自己的水平要将博客修改完,确实是要耗费不少的时间,修改的这段时间每天博客都有改动,这难免会对博客带来不好的影响,对于博客读者到是没有什么太大的影响,写一篇通知文章就好了,但是搜索引擎可是不认识我的通知的,这个时候我就想起有个叫robots.txt的文件可以暂时拒绝搜索引擎抓取,没有多想直接给博客添加了robots.txt。

  博客添加robots.txt之后百度的情况:
在我添加robots.txt 5天左右,网站主要关键字竟然回到百度首页了,这着实是让人不解的,直到现在百度查询关键字淘金客、taojinke等这几个关键字,在首页都找得到,而百度快照则一直停留在2013年7月31日,因为我博客在此之前基本都是两天一个快照;而我给博客添加robots.txt的时候刚好事8月二号的早上,百度还没有来得及抓取之前,所以快照则一直停留在31号。
博客改版添加robots.txt

  关于这点倒是能够让我理解。因为博客添加了robots.txt把搜索引擎蜘蛛阻挡在外面进不来,所以快照无法更新,但是为何在添加了 robots.txt 5天左右的时间被K的排名回来了?既然robots.txt把引蜘蛛挡在外面了?它又如何判定博客排名、权重的?难道是给博客添加robots.txt之后,以前的被K记录也挡在了外面,识别不了了?

  博客添加robots.txt之后谷歌的情况:
博客改版添加robots.txt2

  在我眼中谷歌是比较准确的,果不其然,经过这次对博客robots.txt的添加,在谷歌显示的只是网址,排名也没有了,而以往收录的标题都变成以网址的形式展现了,排名没有了,以前单靠谷歌每天给我的IP也有上百,对此我还是觉得蛮可惜的。
  博客添加robots.txt之后360的情况:
博客改版添加robots.txt 3

  对于博客添加了robots.txt之后,360倒是照样定时抓取我的博客,继续收录我博客新的东西,它似乎毫不在乎别人网站的robots.txt?
  博客添加robots.txt之后搜狗的情况:
博客改版添加robots.txt 4

  搜狗也是一样,在搜狗搜索出来的淘金客竟然是这么好看,并没有因为博客添加了robots.txt文件而改变了什么。
  博客添加robots.txt之后搜搜的情况:
博客改版添加robots.txt 5

  关于必应这边就不截图了,经过这次也起到作用了,与google一样,现在光看得到网址,没有描述和标题,而即刻搜索和雅虎搜索也并没有因为你博客增加了robots.txt文件而有太大的改变,快照照样更新,文章照样收录。

  好了,关于这篇《博客改版一次添加了robots.txt之后带来的影响》这篇文章就到这里了,这边最后在提示一下,在你博客改版的时候如果能快速完成的话最好不要添加robots.txt的,以淘金客为例,还是有一定的影响的。

  如果像笔者网站这样要修改很长的时间的话,那么我建议你是一定要添加robots.txt的,不然博客天天变动的话,对博客会有很大的影响,严重的还会导致K站,还有就是不得已的话最好不要修改大改,改版的话多多少少对博客还是有一定的影响的。

 作者:淘金客 :http://www.goidke.com/3786.html 原创文章,转载请注明出处,否则请不要转载,谢谢!