一，避免网站重复页面的收录
如果各位站长有阅读过百度优化手册的话，相信都会记得其中有一条标明对网站重复页面的信息，也就是说同一个域名下存在两个不同url地址，但是页面是完全相同，那么这时候搜索引擎只会在两个url下选择其一。而搜索引擎并不能够从根本上区分要收录两个页面中的哪一个，那么这个时候也就造成了网站重复页面被蜘蛛抓取，搜索引擎收录。虽然这样的做法确实可以提升我们网站的收录，但是最终的结果也是必然被搜索引擎剔除，这个时候就很容易的造成我们收录上面的大波动。并且如果网站中存在大量重复内容页面的话，也很容易会被搜索引擎认定为采用作弊手法，所以对网站的发展是极为不利的，严重者可能会直接被降权、被K。如果您网站存在大量的重复页面的话，这时候可以通过robots进行屏蔽这样重复页面的链接就OK了。
二，避免不友好页面的收录
在很多的时候，相信很多站长会遇到这样一种两难的局面，网站的某些文章质量低下，但是却能够得到用户的喜爱，虽然搜索引擎不喜欢它，那么这个时候我们就需要采用一些适当的屏蔽手法，来让搜索引擎无法抓取收录。
举一个比较常见的例子吧，会发现很多的地方门户都存在一个广告模块，专为一些商家用户提供的，这个模块方便用户发布广告信息，也方法一些买家用户获取到广告信息，然而对于搜索引擎而讲，广告信息就属于垃圾信息，因为一般的广告都是商家直接复制过来的，其中还有可能存在大量的链接，虽然这样的页面用户是可以接受的，但是搜索引擎是无法接受的，所以面对这样情况的时候我们只能够很好的衡量用户体验和优化的情况下，尽可能的保留这样页面，另一方面就是尽可能屏蔽这些页面让蜘蛛无法抓取。
三，避免网站死链的收录
对于一个网站的运营发展而言，存在一些死链接是非常正常的事情，就比如说在删除某一个栏目或者某篇文章的情况下，无论这些页面是否已经被搜索引擎所收录，都是需要去进行屏蔽工作的。
可能你会问，被收录的屏蔽也就算了，为什么那些没有收录的页面也要进行屏蔽呢?其实原因是很简单的，因为在很多时候搜索引擎是已经收录了这些页面，只不过是收录了还没有放出来，需要在下一次或者某一阶段下才能够放出，所以对于无论收录与否的页面，都是需要进行屏蔽的哦，当然也是可以直接采用404页面来进行处理的哦。
四，避免不必要的页面被收录
对于很多网站而讲，网站是存在一些用户信息以及后台的页面，对于这些页面而讲，往往对于搜索引擎而言是无意义的，所以都属于一些比较低质量的页面内容，并且严重的话还有可能会涉及一些用户的隐私问题，所以对于这类型页面的屏蔽工作是非常有必要的哦。