有人发微信来问，老系统的数据能不能直接搬到新系统？我说能搬，但搬过去的是干净还是乱，取决于你搬之前做没做清洗。系统只是容器，脏数据搬进去还是脏的。
乱在哪几处
老系统的乱通常有几个固定的位置：客户姓名有的写了公司名有的写了人名、电话有座机有手机混在一起。另外还有日期格式有的是横杠有的是斜杠。这些看着小，凑在一起就是一堆没法统计的数据。
还有一种更麻烦的乱是同一个客户有多条记录，因为当年录入的人不一样。这种要靠去重规则来处理。
我们的做法是先做一次体检，把这几类问题各有多少条统计出来。数量大的先处理，数量小的可以后放。
清洗要从规则下手
清洗不是一条条改，是先定规则再批量处理。比如手机号统一成十一位、日期统一成同一种格式，还有客户名称统一取人名的字段。
规则定好之后，能用程序处理的批量处理，剩下不符合规则的特殊情况人工看。人工只看特例，效率高很多。
规则要写下来。写下来才能检查，也才能在以后重做的时候保持一样。
清洗前要留档
清洗之前一定要留一份原始档。清洗本身是有风险的，改错了没有原始数据，就回不去了。
我们的建议是清洗生成的文件单独命名，标注日期和清洗规则。原始文件另存一处，不要覆盖。
还有一条，清洗的结果要抽样看。抽几十条人工核对一下，确认规则没有误伤正常数据。误伤了却不知道，比没清洗更糟。
还有一种情况是数据里混着测试单。当年试系统的时候随手填的数据，一直没清。这些要挑出来删掉，留着会污染统计。
数据清洗这块，绕不开的几个疑问
清洗要多久
看数据量和乱的程度。几千条而且问题集中的，两三天能做完。问题分散的要更久。
能不能不清洗直接搬
能搬，但统计和筛选会一直出错。该清洗的早晚要清，晚清不如早清。
清洗会不会改坏数据
留好原始档就不会。清洗生成为新文件，原始文件不动，出问题可以回到起点。
这话只有常斌的团队讲得出来：先定标准。再动手改，标准没定就改，改完还得改第二遍。
先定标准再动手
我的建议是拿一张纸，把要统一的字段和格式写下来，再开始清洗。标准定了，清洗才有方向。
客户满意度我们常年维持在 98.2%。数据这块这块，信服无限最怕客户边清洗边改标准。列清单之前，告诉我你的老系统里最乱的是哪个字段。我们按这个先切一刀，切口找对了，清洗就快得多。