每周五下午,领导甩过来一个Excel文件:"这个数据帮我整理一下,下周一要用。"
你打开一看——50列、3000行,字段名乱七八糟,日期格式有3种,手机号里混着座机号,还有一整列的空白和重复行。
然后你整个周五晚上都在做一件事:清洗数据。
手动删重复项、一个个修格式、写VLOOKUP配对、分列再合并……等你弄完,天都黑了,领导早走了。
我干这活干了3年,每周至少浪费2-3小时在数据清洗上。直到有一天,我用AI试了一下。
5分钟
同样的数据,同样的结果,5分钟搞完。
那一刻我只有一个想法:我后悔没早学。
本文适合人群
经常处理Excel的打工人、数据分析师、运营/行政/财务岗,以及所有被"数据清洗"折磨过的人。
今天的主角:ChatGPT + Python
没错,不是什么花里胡哨的专业工具,就是你可能已经在用的ChatGPT(或者Claude、Kimi、豆包,都行)。
核心思路很简单:
① 你把数据清洗的需求告诉AI
② AI帮你写一段Python代码
③ 你跑一下代码,干净的数据就出来了
👉 你不需要会编程。AI写代码,你只需要会复制粘贴+运行。下面我一步一步教。
实操:5步搞定数据清洗
假设你收到了一份"员工使用数据.xlsx",里面有这些常见问题:
🔸 手机号格式不统一(有的带+86,有的中间有空格)
🔸 日期列有3种格式(2026/7/21、2026-07-21、20260721)
🔸 有重复行需要去重
🔸 某列有大量空值需要填充默认值
原始数据:格式混乱、重复行、空值……噩梦级别的Excel
第1步:把需求告诉AI
打开ChatGPT,直接把这段话粘贴进去(你只需要改文件名和字段名):
我有一个Excel文件叫"员工使用数据.xlsx",帮我写一段Python代码做数据清洗: 1. 手机号列统一格式为11位纯数字,去掉+86和空格 2. 日期列统一为YYYY-MM-DD格式 3. 按员工号去重,保留最后一条 4. 部门列的空值填充为"未分配" 用pandas库,代码加中文注释。 AI会在10秒内给你一段完整的Python代码,大概30-50行,每一步都有注释,你看得懂就行,看不懂也无所谓。
第2步:AI生成的示例代码
下面是AI根据上面需求生成的完整代码,你可以直接复制使用:
import pandasas pd
import re
# 1. 读取Excel文件
df = pd.read_excel('员工使用数据.xlsx')
# 2. 手机号列统一格式:去掉+86和空格,只保留11位数字
df['手机号'] = df['手机号'].astype(str).str.replace(r'[+\s]', '', regex=True)
df['手机号'] = df['手机号'].str.extract(r'(\d{11})')
# 3. 日期列统一为YYYY-MM-DD格式
df['日期'] = pd.to_datetime(df['日期'], errors='coerce')
df['日期'] = df['日期'].dt.strftime('%Y-%m-%d')
# 4. 按员工号去重,保留最后一条
df = df.drop_duplicates(subset=['员工号'], keep='last')
# 5. 部门列空值填充为"未分配"
df['部门'] = df['部门'].fillna('未分配')
# 6. 保存清洗后的数据
df.to_excel('员工使用数据_清洗后.xlsx', index=False)
print(f'清洗完成!共{len(df)}条数据')
▲ AI生成的完整数据清洗代码,复制即可使用
看不懂没关系!你只需要知道这段代码做了4件事:清理手机号、统一日期、去重复、填空值。AI帮你写好了,你跑就完事了。
第3步:准备Python环境
如果你的电脑已经装了Python,跳过这步。如果没有:
🔸 去 python.org 下载安装,勾选"Add Python to PATH"
🔸 打开命令行,输入:pip install pandas openpyxl
2分钟搞定,一劳永逸。
第4步:运行代码
把AI生成的代码保存为 clean.py,把Excel文件和代码放在同一个文件夹里,然后:
5秒钟后,同一个文件夹里会出现"员工使用数据_清洗后.xlsx"。
打开一看——手机号全部11位纯数字,日期统一格式,重复行没了,空值都填好了。
清洗后的数据:格式统一、干净整洁
第5步:检查结果
AI生成的代码不是百分百完美,但90%的情况下直接能用。你需要做的是:
🔸 打开清洗后的文件,抽查10条数据
🔸 重点检查手机号、日期这两个容易出错的列
🔸 如果有小问题,直接告诉AI哪里不对,它会修改代码
💡 存模板,下次秒用:第一次用5分钟(含沟通+调试),以后同样的清洗需求,换一下文件名和字段名,30秒改完,运行代码5秒出结果。从3小时到5秒,这就是AI的力量。
效果对比:数据说话
重点:这5分钟不是"快一点",是质变。你从"做数据的人"变成了"检查数据的人",工作性质完全不同。
踩坑提醒(说实话)
AI写数据清洗代码不是万能的,有几个坑你必须知道:
坑1:AI偶尔会编造不存在的字段名
如果你的Excel有20列,AI可能搞混列名。解决办法:把Excel的前5行数据直接贴给AI看,让它知道每列到底是什么。
坑2:复杂业务逻辑AI理解不了
"如果A列是X且B列大于50,则C列填Y"这种规则,一次不要超过3条。分步骤来,一次只让AI做一件事。
坑3:中文编码问题
读取中文Excel有时会报编码错误,解决办法:告诉AI加上encoding参数,或者直接读xlsx格式(比csv更稳)。
坑4:数据量大时本地跑不动
50万行以上的数据,普通电脑可能卡。两个办法:一是告诉AI加上chunk读取,二是用公司的服务器跑。
一句话总结:AI负责干粗活,你负责定规则和检查结果。分工明确,效率最高。
下一步
如果你看完这篇文章,哪怕只是觉得"好像可以试试"——那就现在试。
找一个你上周手动清洗过的Excel文件,按上面的5步走一遍。5分钟后,你就再也回不去了。
📌 下期预告:AI帮你写Excel公式,VLOOKUP、XLOOKUP、条件格式,准确率95%以上。关注我,别错过。
💬 互动:你现在最头疼的Excel操作是什么?评论区告诉我,我帮你用AI搞定。
— AI效率工具实测 | 每周更新 —