方法1,打开apache/install/ target=_blank class=infotextkey>apache配置文件httpd.conf,配置如下:
复制代码 代码示例:
<Directory />
Options FollowSymLinks
AllowOverride all
Deny from www.bing.com //屏蔽蜘蛛
Deny from search.msn.com //屏蔽蜘蛛
</Directory>
方法2,robots.txt 文件
User-agent: *
Disallow: /newcar/
建议用第一种方法,因为第二种方法,有些垃圾搜索引擎根本不予理会,仍然继续抓取。
另外,还可以考虑用iptables直接禁止相关IP地址段的访问。