开头:SCQA模型
S(情境):你收到一份销售数据,20行记录里,电话号码有的带横杠、有的没横杠,日期格式五花八门,还有一条订单金额竟然是负数。
C(冲突):你硬着头皮用这份数据做了透视表,结果销售额统计少了近一半,领导看完报告直摇头。这不是你的分析能力问题,而是数据质量出了问题。
Q(问题):面对"脏数据",很多职场人的做法是逐个手动修改。20行还能忍,200行呢?2000行呢?
A(答案):今天分享我作为统计专业数据分析师,在实践中总结的"Excel数据清洗5步法"。跟着做,10分钟搞定原本需要2小时的整理工作。
为什么数据清洗这么重要?
先给你一个数据:在真实的数据分析项目中,数据清洗占整个工作量的60%-80%。
这不是危言耸听。Gartner的研究表明,企业因数据质量问题每年平均损失1500万美元。对职场人来说,脏数据直接导致的结果就是——报表失真、决策失误、背锅挨骂。
常见的数据问题有4类
问题类型 | 具体表现 | 后果 |
缺失值 | 单元格空白、显示NaN | 统计结果偏小、平均值失真 |
重复值 | 同一行数据出现多次 | 销售额虚高、客户数偏多 |
格式不一致 | 日期有3种写法、数字存成文本 | 无法排序、无法计算 |
异常值 | 订单金额为负数、年龄200岁 | 平均值被拉高/拉低 |
Step 1:数据审核——先诊断,再开药
很多人拿到数据就急着动手改,这是大忌。数据清洗的第一步,永远是审核。
你要像医生看病一样,先做全面检查:
1. 快速浏览:按Ctrl+End看看数据有多少行,有没有明显奇怪的数值
2. 条件格式高亮:选中整列 → 开始 → 条件格式 → 突出显示单元格规则 → 重复值/空值
3. 筛选检查:给每列加筛选,看看下拉菜单里有没有异常选项
专业提示:不要只看数据表面,要理解业务逻辑。比如订单金额可以是0(未付款),但不应该为负数。这个判断需要结合业务场景,不是单纯看数字。
Step 2:处理缺失值——删还是填,有讲究
发现缺失值后,很多人直接删除整行。但这样做可能丢掉重要信息。处理缺失值,核心原则是:看比例,分场景。
我的决策框架:
• 缺失比例 < 5%:可以直接删除,对整体分析影响不大
• 缺失比例 5%-20%:用均值、中位数或同类数据填充
• 缺失比例 > 20%:考虑删除该列,或标记为"未知"单独分析
为什么要用中位数而不是均值?因为如果数据里有极端值(比如一个订单10万元),均值会被严重拉高,中位数更能代表"典型"水平。这就是统计思维的作用——不是简单地填个数字,而是让填充结果不扭曲数据分布。
Step 3:删除重复值——一键搞定,别手动找
重复数据是报表失真的头号元凶。我见过最离谱的案例:一份客户名单里同一个人出现了8次,导致活动通知发了8遍,客户直接拉黑。
Excel操作:数据 → 删除重复项 → 勾选要判断的列 → 确定。
注意:删除前务必先备份!另外,判断重复的标准要清楚——是"所有列都相同"才算重复,还是"某几列相同"就算?比如同一个客户下了两笔不同金额的订单,这不算重复记录。
Step 4:格式标准化——让数据"说同一种语言"
这是我最想强调的一步,因为80%的Excel公式报错,根源都是格式不统一。
4类最常见的格式问题:
1. 日期格式混乱——原始数据里可能同时存在:2026/1/15、2026-01-16、2026.1.18……统一方法:选中列 → 数据 → 分列 → 列数据格式选"日期" → 完成。
2. 数字存成文本——单元格左上角有绿色小三角,求和结果为0。解决方法:选中列 → 数据 → 分列 → 直接点完成。
3. 文本前后有空格——"张三"和"张三"会被当成两个人。用TRIM函数去除。
4. 电话号码/身份证带分隔符——用SUBSTITUTE函数去除横杠和空格。
核心思路:标准化不是简单的"让数据好看",而是让数据能被公式正确识别、能被透视表正确汇总。
Step 5:异常值检测——用统计方法找outliers
异常值是最隐蔽的数据杀手。一个错误的异常值,能让平均值偏差30%以上。
检测方法1:箱线图法(推荐)——基于四分位数原理,上边界=Q3+1.5×IQR,下边界=Q1-1.5×IQR,超出边界的就是异常值。
检测方法2:3σ原则——数据点与平均值之差超过3倍标准差,视为异常值。适合正态分布的数据。
检测方法3:业务规则法——结合业务常识判断:订单金额不能为负、年龄不能超过120岁、下单日期不能在今天之后……
发现异常值后怎么办?不是直接删除!要先确认:是录入错误就修正;是真实但极端的情况就保留但单独分析;无法判断就标记出来跟业务方确认。
数据清洗后的成果展示
按照5步法清洗完数据,我们得到了什么?
从原始20行脏数据,到19行干净数据:删除了1条重复记录,处理了3处缺失值,修正了1处异常值(负值订单),统一了所有日期和电话号码格式。
数据完整率从85%提升到95%,这时候再做透视表、做图表,结果才是可信的。
总结:5步法核心要点
1. 数据审核:先全局扫描,定位问题,别急着动手
2. 处理缺失值:看比例决定删还是填,用统计方法填充
3. 删除重复值:用Excel自带功能,先备份再删除
4. 格式标准化:日期、数字、文本统一格式,让公式能跑通
5. 异常值检测:箱线图+业务规则双保险,不盲目删数据
记住一个原则:数据清洗的目的不是"让数据好看",而是"让数据能真实反映业务"。
行动建议
今天就可以做3件事:
1. 下载文末模板,里面有带问题的原始数据和清洗后的示例,跟着练一遍
2. 找一份你最近用过的数据,用5步法检查一遍,看看有多少隐藏问题
3. 建立数据清洗检查清单,每次分析前花5分钟过一遍,养成习惯
互动引导
如果你觉得这篇文章有用,点个「在看」,让更多同事看到。
作者简介:统计学硕士,8年数据分析实战经验,服务过电商、零售、金融等多个行业。专注用Excel解决真实职场问题,不讲虚的,只讲能马上用的。