一个客户说被爬了，运维的做法是封IP。封了两百个IP之后，对方换代理池，照样爬。同时误封了几个真实用户。客服接到投诉。这个循环持续了两周，末尾靠限频才解决。
先分清是什么在爬
搜索引擎的正常抓取要放行，这是流量来源。竞品和第三方的数据采集要限制。恶意刷接口或者拖库的要拦截。三种处理方式完全不同，先分清楚再动手，别一刀切。区分办法是看标识和行为。
正常的搜索引擎会声明UA并遵守规则文件，可以通过反查IP确认。采集脚本通常UA伪装跟频率高和访问路径集中与不加载图片和样式。行为特征比UA更可靠。按会话和IP做频率控制，比直接封禁有效得多。
限频比封禁更有效
比如列表页每分钟最多二十次，详情页每分钟最多六十次。超了就返回验证或者延迟响应，让对方成本上升，而不是硬性拒绝。还有一种思路是给数据加成本。列表不直接给出全量结果，分页深了需要登录；关键字段做脱敏，联系方式需要用户主动查看才能拿到。上线前测什么？补不齐会卡在哪？
做到这一步，爬走的数据价值就降低了。防爬最容易犯的错是过度防护。验证码每次都出、同一IP多人访问就封和手机端频繁弹验证，正常用户体验被拖垮。企业网络、学校网络与运营商NAT，很多用户共用一个出口IP。
别把真实用户一起挡了
所以策略要留白：先观察一周的真实流量分布，再设阈值；启用前先灰度一部分流量；出错时给用户一条申诉通路。别怕麻烦。这三点做到，误伤会小很多。末了说个实在的：防爬的目标是提高成本，不是彻底封死。封得太狠，先受伤的往往是自己用户。老常说过一句糙话：需求不清，代码白写。
防爬虫的常见疑问
封 IP 能解决爬虫吗
很难。对方可用代理池绕过，并可能误伤共用出口 IP 的真实用户，建议以限频为主。
怎么区分正常搜索引擎
看 UA 声明并反查 IP 归属确认，同时观察是否符合常规抓取行为。
防爬会影响正常用户吗
策略过严会。建议先观察真实流量分布再设阈值，并保留申诉通道。
真正要防的是有价值的明细数据。首页和列表页被爬问题不大，用户联系方式、价格明细和库存这类被批量拿走才伤，防护重点应该压在这些地方。
总结：防爬靠提高成本。分清对象、以限频为主与给用户留白，才不至于伤到自己的流量。