SkillFeeder › 全部 Skill › 协作办公 › sn-da-large-file-analysis
流式读取百万行Excel并转Parquet加速分析
sn-da-large-file-analysis
sn-da-large-file-analysis 是 SkillFeeder 收录的Agent Skill，来自 GitHub 仓库 OpenSenseNova/SenseNova-Skills，★ 6,069。流式读取百万行Excel并转Parquet加速分析。适合处理海量Excel的数据工程师。场景是协作办公。能做的事包括10万行以上Excel零OOM流式读取、自动转Parquet提升后续分析速度、智能分块处理超大文件写入。打开 GitHub 自行安装。
能做什么
- 10万行以上Excel零OOM流式读取
- 自动转Parquet提升后续分析速度
- 智能分块处理超大文件写入
原文简介
万行以上 Excel 数据集的高性能分析引擎。提供 openpyxl read_only 流式读取（iter_rows 支持 10 万行以上）、Parquet 转换加速、内存优化、分块处理和大文件写入模式。**遇到以下任一情况就主动使用本 skill**：①数据行数 ≥ 10k（由 sn-da-excel-workflow 的行数评估步骤触发）；②用户出现触发词：大文件 / 大数据量 / 性能优化 / 内存不足 / OOM / 百万行 / 十万行 / 流式读取 / Parquet / 分块处理 / large file / big data / streaming read / chunked processing；③直接使用 pd.read_excel() 导致超时或内存溢出；④用户明确要求对大规模数据集进行高性能处理。仅不用于：小于 10k 行的常规 Excel 分析（使用 sn-da
同场景推荐
- docx所在仓库 anthropics/skills，仓库 ★ 193,116生成、读取和编辑 Word 文档（.docx/.dotx），支持目录、页眉页脚等专业排版。
- xlsx所在仓库 anthropics/skills，仓库 ★ 193,116直接创建、编辑和分析 Excel/CSV/TSV 表格，支持公式、格式与图表。
- mineru所在仓库 opendatalab/MinerU，仓库 ★ 83,528解析本地文档为可读文本，支持精准定位与引用。
- claude-to-deerflow所在仓库 bytedance/deer-flow，仓库 ★ 83,493用 Claude 对话驱动 DeerFlow 多智能体平台执行研究、代码、网页等复杂任务
- kb-retriever所在仓库 ConardLi/garden-skills，仓库 ★ 14,795从本地多级知识库目录中精准检索并回答问题
- genoffice所在仓库 genspark-ai/genoffice，仓库 ★ 12,110用命令行本地生成、转换和读取 Office 文档与 PDF
- budget-planner所在仓库 genspark-ai/genoffice，仓库 ★ 12,110根据业务计划自动生成带明细、月度分摊和假设表的Excel预算工作簿
- business-plan所在仓库 genspark-ai/genoffice，仓库 ★ 12,110把项目创意一键生成结构完整、逻辑自洽的商业计划书（Word文档）