apache怎么屏蔽指定搜索引擎与主机名

发布时间:2019-08-15编辑:脚本学堂
本文介绍了apache中屏蔽指定的搜索引擎蜘蛛与主机名的方法,Deny from选项禁止某些搜索引擎的抓取,需要的朋友参考下。

方法1,打开apache/install/ target=_blank class=infotextkey>apache配置文件httpd.conf,配置如下:
 

复制代码 代码示例:
<Directory />
   Options FollowSymLinks
    AllowOverride all
    Deny from www.bing.com   //屏蔽蜘蛛
    Deny from search.msn.com  //屏蔽蜘蛛
</Directory>

方法2,robots.txt 文件
 

User-agent: * 
Disallow: /newcar/

建议用第一种方法,因为第二种方法,有些垃圾搜索引擎根本不予理会,仍然继续抓取。

另外,还可以考虑用iptables直接禁止相关IP地址段的访问。