必须先写明User-agent申明规则适用哪些搜索引擎蜘蛛，然后针对这些蜘蛛制定规则。
各大搜索引擎User-agent写法：
百度User-agent写法
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
商务搜索 Baiduspider-ads
网页以及其他搜索 Baiduspider
搜搜User-agent写法
User-agent：Sosospider /首字母S大写，其余为小写。官方的说明，小写是否适用，待测试
搜狗User-agent写法
User-Agent: Sogou web spider/4.0 和Sogou inst spider/4.0 不是Sogou+web+spider /来源：官方说明
谷歌User-agent写法
User-Agent: Googlebot
bingUser-agent写法
User-Agent: bingbot
有道User-agent写法
User-Agent: Youdaobot
雅虎User-agent写法
User-agent: Yahoo! Slurp China