nginx限制恶意爬虫频率如何配置

发布时间:2020-11-29编辑:脚本学堂
介绍下在nginx中修改相关配置,以限制恶意爬虫频率的方法,有需要的朋友参考下。

如何在nginx中限制恶意网络爬虫抓取内容呢?也就是限制下恶意爬虫的抓取频率。

例子:
 

复制代码 代码示例:
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某个server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* "xxspider|xxbot") {
  set $anti_spider $http_user_agent;
}
 

超过设置的限定频率,就会给spider一个503。