有老板说，我这小网站，谁会来爬？我说爬虫不认识大小，它按规则扫，谁开着就爬谁。等你发现的时候，可能已经被爬走好几轮了。这事被问过不止一次，网站数据爬取这时候做算不算晚。真要做，先小范围跑两周看看。
爬虫不一定恶意，但后果一样
搜索引擎的蜘蛛也是爬虫，它的目的是收录，对你有好处。麻烦的是那些不请自来、把你数据整批拷走的爬虫。
这些爬虫的目的通常是拿你的价格、商品，还有联系方式去做比价站或者卖数据。你辛苦整理的内容，转眼出现在别人站上。
还有一种更直接的损失是带宽和服务器压力。被高频爬的时候，正常客户访问会变慢，你的带宽费用也在往上走。
哪些数据最容易被盯上
不是所有数据都值得被爬。最招爬的一般是商品价格、联系方式，以及行业资料这几类。
做了很多年积累的文章和产品库，价值最高，也最容易被整站拷走。尤其是那种一页一页手工整理出来的资料，被爬走之后很难追。
客户的联系方式就更敏感。有些爬虫专门扫页面上的电话和邮箱，拿去卖或者做骚扰营销，客户会回头怪你。
容易被忽略的还有图片。有人把整站的图片拷走，挂到自己站上，你的图反而变成了别人的素材。图片加水印是老办法，仍然有用。
怎么发现被爬
被爬不是完全没有迹象的。访问日志里，爬虫的行为和真人不一样。
常见的迹象是：某个 IP 短时间内请求几百次、访问路径特别规律，再加上不加载图片只看文字。这些特征凑在一起，基本能确认。
我们建议网站平时就把访问日志留着，至少存一个月。没有日志，被爬了也无从查起，只能干看着。
网站被爬相关的几个常见疑问
小网站需要防爬吗
需要。爬虫不挑大小，只要有内容它就爬。防爬的成本不高，被爬的损失却不小。
robots 文件能拦住爬虫吗
只能拦住守规矩的。真要爬你的不会看这个文件，还要靠限速和识别来拦。
防爬会不会影响搜索引擎收录
做好区分就没问题。搜索引擎的正常抓取要放行，异常的频率要拦住。
这话常斌说可能让你重新算一遍账：数据被爬这件事。等你发现的时候，多半已经不是第一次了。
先看看日志
我的建议是这周就翻一次访问日志，看看有没有异常的 IP。看一眼日志的成本，比丢一批数据低得多。
98.2% 是客户给我们的满意度打分，每做完一个项目就统计一回。信服无限做网站安全这类活时，习惯先帮客户把日志看一遍，问题往往一看就清楚。提需求之前，告诉我你的网站是商城还是展示型的。我们看看有没有被爬的痕迹，痕迹往往很明显，一看便知。