300MB 的 Excel 打不开?用 Python 把它拆成 N 个小文件(附完整代码)

import pandas as pddf = pd.read_excel("big.xlsx")

# -*- coding: utf-8 -*-"""大 Excel 文件拆分工具依赖：pip install openpyxl用法：    # 按行数拆，每 5 万行一个文件    python split_excel.py big.xlsx -o out rows -n 50000    # 按"部门"这一列的值拆    python split_excel.py big.xlsx -o out cols -c 部门"""import osimport reimport timeimport argparsefrom openpyxl import load_workbook, Workbook# ---------------------------------------------------------------# 公共工具# ---------------------------------------------------------------def _new_writer(header):    """创建一个只写模式的工作簿，并写入表头"""    wb = Workbook(write_only=True)    ws = wb.create_sheet("Sheet1")    ws.append(header)    return wb, wsdef _safe_filename(name):    """把不能做文件名的字符替换掉"""    name = str(name).strip()    name = re.sub(r'[\\/:*?"<>|\[\]\r\n\t]', "_", name)    name = name.strip(". ") or "空白"    return name[:80]          # 防止文件名过长# ---------------------------------------------------------------# 方案一：按行数拆分# ---------------------------------------------------------------def split_by_rows(src_file, out_dir, rows_per_file=50000, prefix="part"):    os.makedirs(out_dir, exist_ok=True)    # 只读模式打开，内存占用极低    src_wb = load_workbook(src_file, read_only=True, data_only=True)    src_ws = src_wb.active    row_iter = src_ws.iter_rows(values_only=True)    try:        header = next(row_iter)    except StopIteration:        src_wb.close()        print("[!] 源文件是空的")        return []    out_files = []    part_no = 1    count = 0    has_data = False    out_wb, out_ws = _new_writer(header)    for row in row_iter:        out_ws.append(row)        count += 1        has_data = True        # 攒够一个文件就落盘        if count % rows_per_file == 0:            path = os.path.join(out_dir, f"{prefix}_{part_no}.xlsx")            out_wb.save(path)            out_files.append(path)            print(f"  ✔ {os.path.basename(path):<20} 累计 {count} 行")            part_no += 1            out_wb, out_ws = _new_writer(header)            has_data = False    # 处理最后一批（避免正好整除时多生成一个空文件）    if has_data:        path = os.path.join(out_dir, f"{prefix}_{part_no}.xlsx")        out_wb.save(path)        out_files.append(path)        print(f"  ✔ {os.path.basename(path):<20} 累计 {count} 行")    src_wb.close()    return out_files# ---------------------------------------------------------------# 方案二：按某一列的值拆分# ---------------------------------------------------------------def split_by_column(src_file, out_dir, key_col, sheet_name=None):    os.makedirs(out_dir, exist_ok=True)    src_wb = load_workbook(src_file, read_only=True, data_only=True)    src_ws = src_wb[sheet_name] if sheet_name else src_wb.active    row_iter = src_ws.iter_rows(values_only=True)    try:        header = next(row_iter)    except StopIteration:        src_wb.close()        print("[!] 源文件是空的")        return []    # 定位分组列    if isinstance(key_col, int):        key_idx = key_col    else:        if key_col not in header:            src_wb.close()            raise ValueError(f"找不到列 [{key_col}]，实际列名：{header}")        key_idx = header.index(key_col)    writers = {}   # 分组值 -> (workbook, worksheet)    counts = {}    # 分组值 -> 行数    for row in row_iter:        raw = row[key_idx]        key = "空白" if raw is None or str(raw).strip() == "" else str(raw).strip()        if key not in writers:            wb, ws = _new_writer(header)            writers[key] = (wb, ws)            counts[key] = 0        writers[key][1].append(row)        counts[key] += 1    src_wb.close()    # 统一落盘    out_files = []    used_names = set()    for key, (wb, _) in writers.items():        base = _safe_filename(key)        name = base        i = 1        while name in used_names:          # 防止清洗后重名            i += 1            name = f"{base}_{i}"        used_names.add(name)        path = os.path.join(out_dir, f"{name}.xlsx")        wb.save(path)        out_files.append(path)        print(f"  ✔ {name + '.xlsx':<24}{counts[key]:>8} 行")    return out_files# ---------------------------------------------------------------# 命令行入口# ---------------------------------------------------------------def main():    parser = argparse.ArgumentParser(description="大 Excel 文件拆分工具")    parser.add_argument("src", help="源 Excel 文件路径")    parser.add_argument("-o", "--out", default="output", help="输出目录（默认 output）")    sub = parser.add_subparsers(dest="mode", required=True)    p1 = sub.add_parser("rows", help="按行数拆分")    p1.add_argument("-n", "--rows", type=int, default=50000, help="每个文件的行数")    p1.add_argument("-p", "--prefix", default="part", help="文件名前缀")    p2 = sub.add_parser("cols", help="按某列的值拆分")    p2.add_argument("-c", "--col", required=True, help="用于分组的列名或列序号")    p2.add_argument("-s", "--sheet", default=None, help="工作表名（默认第一个）")    args = parser.parse_args()    t0 = time.time()    print(f"[*] 开始处理：{args.src}")    if args.mode == "rows":        files = split_by_rows(args.src, args.out, args.rows, args.prefix)    else:        files = split_by_column(args.src, args.out, args.col, args.sheet)    print(f"\n[√] 完成！共生成 {len(files)} 个文件，"          f"耗时 {time.time() - t0:.1f} 秒，输出目录：{args.out}")if __name__ == "__main__":    main()

# 每 5 万行切一个文件python split_excel.py 订单明细.xlsx -o out_rows rows -n 50000

[*] 开始处理：订单明细.xlsx  ✔ part_1.xlsx          累计 50000 行  ✔ part_2.xlsx          累计 100000 行  ✔ part_3.xlsx          累计 150000 行  ✔ part_4.xlsx          累计 187342 行[√] 完成！共生成 4 个文件，耗时 96.3 秒，输出目录：out_rows

python split_excel.py 员工花名册.xlsx -o out_dept cols -c 部门

  ✔ 销售部.xlsx              23841 行  ✔ 技术部.xlsx              10233 行  ✔ 财务部.xlsx               3120 行  ✔ 人力资源部.xlsx           1842 行  ✔ 空白.xlsx                  126 行

src_wb = load_workbook(src_file, read_only=True, data_only=True)

wb = Workbook(write_only=True)ws = wb.create_sheet("Sheet1")ws.append(header)      # 先写表头...ws.append(row)         # 逐行追加

row_iter = src_ws.iter_rows(values_only=True)