深入认识robots
搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。
Spider在访问一个网站时，会首页检查该网站的根域名下是否有一个叫 robots.txt的纯文本，这个文件用于指定spider在您网站上的抓取范围。
可以在您的网站上创建一个robots.txt，在文件中声明改网站中哪些目录不让搜索引擎收录。(robots.txt文件应该放置在网站根目录下。)
1、 Robots 的用法
User-agent：定义进制搜索引擎名字，比如说：百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*号代表全部搜索引擎
Disallow：不允许收录
Allow：允许收录
案例：
如何使用Robots 提升排名？
一、 屏蔽死链接
网站会产生死链接，比如说：网站改版、文章删除等，都很有可能会导致网站出现404页面，此时需要通过robots来屏蔽这些死链接。查看死链的方法有以下两种：
1 、）通过网站日志查询。
可以通过下载网站日志来查看的404页面(网站日志可以向空间商要，空间商会提供下载通道)，用txt打开网站日志，通过搜索“404”，如果你网站有404页面，并且被访问到了，那么这个时候就会被网站日志给记录。
2 、）百度站长平台查询
首先需要验证百度站长平台(如何验证就不说了，最基本的。)验证以后，通过百度站长工具的死链工具，可以清楚的看到，网站有哪些死链接。
二、 屏蔽无价值的页面
许多网站都有一些没有价值的页面，比如说SEO指导中心的用户个人中心页面，这个个人中心页面不会对网站产生价值，在百度上面的展现也不会给网站带来权重。因此需要利用robots来屏蔽这样的页面。又比如说：一个企业网站的联系页面，这种页面不会给网站带来权重，用户也不会去搜索“联系”来找他想要的产品。因此需要把这种页面同时屏蔽。
三、 屏蔽重复路径
当你网站出现重复路径的时候，百度将会对的网站进行直接降分，比如说：一个网站做了伪静态，同时他的动态页面也可以访问，这个时候就会出现重复路径。因此需要通过robots屏蔽这些重复路径。
脚本小编总结：
也许很多人都不知道，许多细节都很有可能是你网站排名不上的原因，而这些小小的细节往往被大家给忽略了。
同时希望站长在做网站优化的时候多多关注一些网站细节的问题。