SkillFeeder › 全部 Skill › 工程开发 › octocode-scraping
从网页抓取结构化数据并构建可引用的本地语料库
octocode-scraping
octocode-scraping 是 SkillFeeder 收录的Agent Skill，来自 GitHub 仓库 bgauryy/octocode，★ 958。从网页抓取结构化数据并构建可引用的本地语料库。适合需要快速建知识库的研究者与开发者。场景是工程开发 · SDK/API。能做的事包括自动提取表格、定价、产品字段等关键内容、智能诊断被屏蔽或内容过少的页面、生成带来源标注的 CORPUS 目录供后续搜索。打开 GitHub 自行安装。
能做什么
- 自动提取表格、定价、产品字段等关键内容
- 智能诊断被屏蔽或内容过少的页面
- 生成带来源标注的 CORPUS 目录供后续搜索
原文简介
Use when extracting or mapping public web content into a local cited corpus: scrape or crawl a URL/docs site, pull tables/pricing/product fields, diagnose blocked or thin pages, or answer from saved pages. Phrases like scrape this URL, crawl the docs, build a corpus, extract pricing. Prefer keyless fetch; ask before hosted spend. Live clicks/HAR/perf → octocode-chrome-devtools.
同场景推荐
- api-design所在仓库 affaan-m/ECC，仓库 ★ 300,254设计符合行业标准的 REST API 接口规范
- firecrawl-build所在仓库 firecrawl/firecrawl，仓库 ★ 200,166把实时网页数据接入应用代码，支持搜索、抓取和结构化提取
- firecrawl-build-interact所在仓库 firecrawl/firecrawl，仓库 ★ 200,166点击、填表、翻页、登录后持续交互并提取动态页面数据
- firecrawl-build-onboarding所在仓库 firecrawl/firecrawl，仓库 ★ 200,166一键获取 Firecrawl API 密钥并写入 .env 文件
- firecrawl-build-search所在仓库 firecrawl/firecrawl，仓库 ★ 200,166根据用户问题搜索全网，返回带摘要的优质网页列表。
- pdf所在仓库 anthropics/skills，仓库 ★ 191,002读取、编辑、合并、拆分、加密PDF，提取文字表格图像，OCR扫描件，填写表单
- api-and-interface-design所在仓库 addyosmani/agent-skills，仓库 ★ 114,581设计出难误用、易演进的稳定接口
- chat-sdk所在仓库 lobehub/lobehub，仓库 ★ 84,596一次开发，跨平台部署聊天机器人