财务人员平时使用Excel处理数据，一个销售明细表、一个科目余额表，看起来也没有多少内容。有时候压缩包下载下来只有几个GB，解压以后已经超过几十GB。“能不能转成Excel？”
因为Excel几乎陪伴了审计行业很多年，抽样、筛选、透视、标注、底稿整理。但是，当数据达到几十GB以后，问题已经不是Excel慢。Excel从设计之初，就不是用来处理这种规模的数据的。
一、Excel的问题，不是它不好，而是场景变了
但我并不这么认为，Excel非常优秀，它适合人的工作。
第一个问题：内存限制
一个几个GB的Excel文件，打开以后可能需要几十GB内存。
第二个问题：计算效率
按客户汇总收入，分析月度趋势，查找异常波动，找出大额交易，对比期末集中确认。最后审计人员大量时间消耗在“等待计算”，而不是分析问题。二、程序员处理大数据的思路：不要打开数据，而是查询数据
我要分析数据，所以查询数据，这也是数据库和Excel最大的区别。数据库不是把所有数据展示给你，而是根据你的问题，计算你需要的结果。新的方式：直接执行sql语句即可，系统直接返回结果。
三、DuckDB：一个很适合审计数据分析的小工具
如果说SQLite像一个轻量数据库，那么DuckDB更像：“专门为数据分析设计的数据库。”
不需要复杂部署，一个文件或者一个命令，就可以开始分析。它可以直接读取：CSV、Parquet、数据库、大型数据文件。一个几十GB的销售流水，你不一定需要先导入数据库。
四、数据分析的下一步：从CSV走向Parquet
但是对于分析场景，它并不是最佳选择，因为CSV是按行保存。CSV读取时，往往需要加载大量无关内容，而Parquet采用列式存储。不知道大家在审计项目中有没有遇到类似的问题：
几十GB的数据，你们通常是怎么处理的？
是继续依赖Excel？
还是已经开始使用数据库、Python或者其他分析工具？
欢迎留言交流。
也许下一篇，我会聊聊：
为什么我没有选择“大数据平台”，而是在审计系统里引入DuckDB。
