小伙伴们,小星今天要解决一个几乎所有人都会遇到的问题:如何快速从海量数据中删除重复项,提取唯一值?
无论是客户名单、产品目录、销售记录,还是学生名单、联系方式……重复数据总是无处不在!学会这4种方法,让你的数据表格清爽如新!
📊 常见场景
假设你有一份销售记录表:
· A列:订单编号
· B列:客户姓名
· C列:产品名称
· D列:销售日期
现在需要找出唯一的客户名单,或者删除重复的订单记录,该怎么办?
🥇 方法一:删除重复项功能(最简单直接)
适用人群:所有Excel用户,尤其是新手
操作步骤:
1. 选中包含数据的任意单元格
2. 【数据】选项卡 → 【删除重复项】
3. 弹出对话框中选择要检查的列:
- 如果只要删除完全相同的行:全选所有列
- 如果只要根据客户名去重:只选B列
- 如果根据订单号去重:只选A列
4. 点击【确定】→ 完成!
Excel会显示:发现了XX个重复值,已删除,保留了XX个唯一值
小星贴心提示:
· 操作前务必备份原始数据!
· 可以勾选“数据包含标题”,避免误删
· 删除后无法撤销,谨慎操作
优点:一键操作,简单粗暴
缺点:破坏原始数据,不可逆
🥈 方法二:高级筛选法(保留原数据)
适用人群:需要保留原始数据的用户
操作步骤:
1. 选中数据区域(包括标题)
2. 【数据】选项卡 → 【排序和筛选】→ 【高级】
3. 在弹出的对话框中:
- 选择“将筛选结果复制到其他位置”
- 列表区域:自动选中你的数据区域
- 复制到:选择一个空白区域
- 勾选“选择不重复的记录”
4. 点击【确定】
完成!原始数据完好无损,唯一值复制到新位置!
进阶技巧:
如果只想提取某一列的唯一值:
1. 只选中该列数据
2. 高级筛选时选择“在原有区域显示筛选结果”
3. 勾选“选择不重复的记录”
4. 将筛选结果复制粘贴到新位置
优点:不破坏原数据,可灵活选择去重列
缺点:数据更新后不会自动刷新
🥉 方法三:函数提取法(动态更新)
适用人群:需要结果自动更新的数据分析者
3.1 UNIQUE函数(Office 365/Excel 2021专属)
在新单元格输入:
=UNIQUE(A2:A100)
一个公式搞定!结果会自动扩展,无需拖动填充!
3.2 经典函数组合(所有版本通用)
步骤稍多但功能强大:
第一步:添加辅助列判断是否重复
在E2输入:=COUNTIF($B$2:B2, B2)
向下填充,数值为1的是第一次出现,大于1的是重复
第二步:筛选提取唯一值
1. 筛选E列为1的行
2. 复制B列筛选结果到新位置
3.3 更复杂的动态数组公式(高手必备)
=IFERROR(INDEX($B$2:$B$100, MATCH(0, COUNTIF($F$1:F1, $B$2:$B$100), 0)), "")
*注意:这是数组公式,需要按Ctrl+Shift+Enter三键结束
优点:数据更新后,结果自动更新
缺点:公式相对复杂
🏆 方法四:Power Query法(大数据处理神器)
适用人群:需要处理大量数据或定期清理数据的用户
操作步骤:
1. 选中数据区域 → 【数据】→ 【从表格】
2. 进入Power Query编辑器
3. 选择要去重的列
4. 【主页】→ 【删除行】→ 【删除重复项】
5. 【关闭并上载】
更强大的操作:
1. 可以同时基于多列去重
2. 可以删除重复项,也可以计数重复次数
3. 可以保留第一次出现或最后一次出现的记录
Power Query进阶技巧:
统计每个重复项的重复次数:
1. 分组依据 → 选择要分组的列
2. 操作选“计数行”
3. 重命名新列名为“出现次数”
4. 按出现次数排序,一眼看出哪些数据重复最多
优点:
· 不破坏原始数据
· 处理数十万行数据不卡顿
· 数据更新后,刷新即可重新去重
· 可保存操作步骤,重复使用
缺点:需要学习Power Query基本操作
💡 实用技巧与小贴士
1. 去重前的数据清洗
常见问题处理:
- 去除空格:=TRIM(A2)
- 统一大小写:=UPPER(A2) 或 =LOWER(A2)
- 处理多余字符:=CLEAN(A2)
- 统一格式:=TEXT(A2, "000000") # 比如统一为6位编号
2. 判断是否重复的快速方法
=IF(COUNTIF($A$2:$A$100, A2)>1, "重复", "唯一")
用条件格式标记重复项:
1. 选中数据区域
2. 【开始】→ 【条件格式】→ 【突出显示单元格规则】→ 【重复值】
3. 选择标记颜色
3. 去重后的验证
核对去重是否成功:
原始记录数:=COUNTA(A2:A100)
去重后记录数:=COUNTA(去重区域)
重复数:=原始记录数-去重后记录数
4. 特殊去重需求
情况1:只保留最新记录
按日期排序,保留每个客户的最后一条记录
情况2:合并重复项的数值
用数据透视表:行标签为客户,值汇总为销售求和
情况3:部分列相同就去重
用辅助列:=B2&C2&D2 # 合并关键列
然后对辅助列去重
🚀 实战案例:客户名单清洗
假设你有3个来源的客户名单,现在要合并去重:
推荐方案:
1. 用Power Query合并三个表格
2. 删除重复项(基于客户ID或手机号)
3. 标记每个客户的来源
4. 导出为清洗后的总名单
5. 设置刷新,新数据添加后一键更新
小伙伴们,数据去重是Excel数据处理的基本功,掌握这4种方法,95%的去重需求都能轻松搞定!
小星建议:
· 日常简单去重 → 【删除重复项】或【高级筛选】
· 制作动态报表 → 【函数法】
· 处理大数据或定期任务 → 【Power Query】
记住:操作前先备份!备份!备份!重要的事情说三遍!
动手试试:打开你的Excel表格,找一列有重复的数据,用今天学的方法试试吧!
遇到问题或者有特殊去重需求,欢迎在评论区留言,小星会为你解答!
觉得有用记得点赞❤️收藏⭐,转发给经常被重复数据困扰的小伙伴!
小星说:干净的数据是准确分析的基础!关注【小星EXCEL应用】,让你的数据处理能力每天进步一点点!🚀✨