meta标签中robots有以下几种写法：
复制代码 代码如下:
<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”>
<META NAME=”ROBOTS” CONTENT=”INDEX, NOFOLLOW”>
<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>
“Nofollow”属性出现在网页级元标记中，用于指示搜索引擎不要追踪（即抓取）网页上的任何出站链接；NOINDEX属性表示不检索页面中间的任何内容，也就是说网页中间的任何内容都不会出现在网页的快照中间；index、follow正好相反，这里不重。注：<META NAME=”ROBOTS” CONTENT=”none”>就相当于<META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>。小站的<META NAME=”ROBOTS” CONTENT=”none”>效果如下：
百度<META NAME="ROBOTS" CONTENT="none">
robots.txt的用途与上面的meta标签的robots属性表达的意思有很大区别，robots.txt主要是告诉搜索引擎，哪些文件是允许被搜索引擎抓取的，哪些是不允许被抓取的。如果robots.txt出现Disallow:/wp 这种类似的语句，则是告诉搜索引擎蜘蛛根目录下面wp文件夹下的文件都是不允许被抓取的，那么这个链接自然也就不会出现在搜索引擎的结果页面中。
Robots<META>标签与robot.txt区别主要在于：
前者是蜘蛛抓取了链接只是没有显示里面的内容以及对链接的处理；
而robots.txt则是可以设置是否允许抓取。
