拿到一张表格,准备做分析,结果发现!!!
💥 日期格式有三种,有的斜杠有的横杠还有纯数字
💥 部门名称有的叫销售部,有的叫销售,有的叫营销中心
💥 数字里混着空格、逗号、单位,求和全是错的
💥 还有一堆重复行和空白单元格
💥 明明都是纯数据,表格文件却大到离谱
于是,本来半小时能做完的事,花了两小时清理数据……
这就是数据清洗的痛。它不复杂,但极度琐碎。
每一个问题单独看都不难,但它们叠加在一起,就可能耗费2-3个小时。
过去一年,格子间陆陆续续写了十几篇关于数据清洗的文章。
今天就一次性为大家整理:关于“数据清洗”的14篇文章。
数据哪里脏
拿到表格别急着动手,先看一眼数据长什么样。
【Excel】文件越来越大?滚动条无限下拉?一招清除幽灵数据、冗余格式,文件秒瘦身!
⏰解决场景:表格纯数字,没有公式图表,文件却几十MB,操作一下卡三秒。
💡 适合:发现文件异常变大、操作卡顿时的急救。
【Excel】判断大小或排序时,遇到汉字、符号、空格等如何作0处理?
⏰解决场景:排序报错、计算报错,却发现数据里藏着非数字字符。
💡适合:通篇仅需要进行数字处理,忽略汉字、符号等。
处理重复值
重复数据,是所有脏数据里最容易发现、也最容易处理的问题。
⏰解决场景:想知道哪些数据重复了、重复了几次。
💡适合:核对客户名单、产品清单、员工信息时等,先查一下重复情况。
⏰解决场景:需要删除重复值,但不确定哪种方法最快。
💡适合:根据不同的数据湖需求,删除重复值。
【Excel】数据清洗06|多列组合、跨表精准去重,告别重复数据烦恼!
⏰解决场景:需要根据多列组合判断是否重复,或跨表格去重。
💡适合:更复杂的去重场景。
处理空白单元格
空白单元格,有时是真的没有数据,有时是忘了填。
⏰解决场景:合并单元格取消后留下的空白,需要快速向下填充。
💡适合:整理从系统导出的、带有合并单元格的表格。
【Excel】数据清洗05|空白单元格处理:删除与填充,职场最常用!
⏰解决场景:需要系统性地处理表格中的所有空白单元格。
💡适合:批量判断空白该删还是该填。
处理格式问题
格式问题,往往是造成计算错误的头号元凶。
【Excel】数据清洗04|6大日期清洗场景,告别乱码、计算报错
⏰解决场景:日期格式不统一,导致排序乱、计算错、透视表汇总异常。
💡适合:处理考勤、合同、项目时间等相关数据。
⏰解决场景:需要将日期转为特定格式的文本(如2024-01-01变成2024年1月1日)。
💡适合:报表展示、数据导出等需要固定日期格式的场景。
⏰解决场景:数据前后有多余空格,导致VLOOKUP匹配不上。
💡适合:任何需要做匹配、查找的表格,空格必须先清掉。
⏰解决场景:长数字(身份证号、银行卡号、订单号)被科学计数法显示。
💡适合:处理从系统导出的长数字编号。
提取与拆分
数据混在一起,需要拆开各自成列。
⏰解决场景:文字和数字混在一个单元格里,需要把数字单独提取出来。
💡适合:地址里的门牌号、备注里的金额、混杂的工单编号等。
⏰解决场景:从固定格式的文本中提取特定部分(括号内的、逗号后的)。
💡适合:处理有一定规律但需要拆分的内容。
【Excel】数据清洗07|从单元格文本中提取数字,手机号、身份证号一键抓取!
⏰解决场景:从大段文字中精准提取手机号、身份证号。
💡适合:处理备注字段、客户留言等非结构化文本。
下期预告
以上14篇文章,覆盖了数据清洗中90%的具体问题——重复怎么删、空格怎么清、日期怎么统一、数字怎么提取。
但还有一个问题没解决:
当你面对一份全新的脏数据时,应该从哪里开始?
先做哪一步、后做哪一步?处理完所有问题后,怎么确认数据已经干净了?
下期,格子间会用一篇文章把这件事讲清楚:数据清洗的整体方法论和SOP流程。
包含:
拿到数据后的诊断方法
数据清洗的操作顺序
清洗完成后的验证方法
一张可直接打印的数据清洗自检清单
👇关注格子,学习更多办公实用技巧,2026争取少加班、早下班!