Firecrawl(网页抓取API)

作者 设施特

给 AI agent 喂网页,最烦的是 JS 渲染的页面抓到一堆空壳、代理一换就报错。Firecrawl 把这些活儿包成一个接口:任意 URL 转干净 markdown 或结构 JSON,覆盖 96% 网页,P95 延迟 3.4 秒。GitHub 20 万 star。

Github
Skill 编程开发 v1.0.0 热度 330

将提示词发送给你的 AI 安装该 Skill

复制下方提示词,粘贴到 Cursor / Claude Code / WorkBuddy 等本地 Agent,按说明安装。

请根据 https://www.cweto.cn/?ai_hub=skill_install ,安装本站 Skill @ai_hub/work-48(Firecrawl(网页抓取API))。
详情页:https://www.cweto.cn/work-48.html
GitHub:https://github.com/firecrawl/firecrawl
请装到当前 Agent 的 skills 目录(见安装说明中的路径表),完成后重启或刷新 Agent。
安装说明 GitHub
支持的本地 Agent 目录
  • Claude Code → ~/.claude/skills/
  • Cursor → ~/.cursor/skills/
  • Windsurf → ~/.codeium/windsurf/skills/
  • Codex → ~/.codex/skills/
  • Gemini CLI → ~/.gemini/skills/
  • WorkBuddy → ~/.workbuddy/skills/
  • OpenClaw 变体 → 各自 skills 目录

Skill 说明

Firecrawl 是什么

Firecrawl 是一个面向 AI agent 的网页上下文 API,提供搜索、抓取、解析、爬站、站点地图、批量抓取和页面交互等能力,目标是把互联网转成 LLM 能直接吃的干净数据。它自带轮换代理、调度、限流处理和被 JS 阻挡内容的渲染,调用方不需要自己配置这些。

官方给出的三个关键数字:覆盖 96% 的网页(含 JS 重度渲染页面),跨百万级页面的 P95 延迟为 3.4 秒,输出是干净的 markdown、结构化 JSON 或截图。它还能把 PDF、DOCX 等文档转成 Markdown,以及在提取前对页面执行点击、滚动、输入、等待等动作。

能力说明
Search搜网页并直接拿到结果页正文
Scrape任意 URL 转 markdown / HTML / 截图 / 结构化 JSON
Interact抓取后继续用自然语言指令操作页面
Crawl一次请求抓整站
Map秒级列出站点全部 URL
Batch Scrape异步批量抓取上千 URL
Agent只描述需求,自带 spark-2 模型自主检索取数
Monitor网站内容变化时通知

开源部分采用 AGPL-3.0,SDK 和部分 UI 组件是 MIT。既可以用官方云服务,也可以按自托管文档部署本地实例。GitHub 上约 20 万 star。

Firecrawl 怎么安装

最省事是直接用云端服务,到 firecrawl.dev 注册拿 API Key,然后装 SDK:

pip install firecrawl
npm install firecrawl

命令行工具可以直接用 npx 跑,一条命令把 Firecrawl 接进你的 agent,装完重启 agent 生效(支持 Claude Code、Antigravity、OpenCode 等):

npx -y firecrawl-cli@latest init --all --browser

接 MCP 客户端:

{
  "mcpServers": {
    "firecrawl-mcp": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": { "FIRECRAWL_API_KEY": "fc-YOUR_API_KEY" }
    }
  }
}

想自建则参照官方自托管指南:https://docs.firecrawl.dev/contributing/self-host

Firecrawl 怎么使用

  1. 抓单个页面转 markdown:调用 app.scrape('firecrawl.dev'),返回里直接带 markdown 正文。
  2. 要结构化数据就带 schema,让接口按你定义的字段返回 JSON,不用自己写解析。
  3. 搜网页用 app.search('关键词', limit=5),结果自带每个页面的正文,不用二次抓取。
  4. 抓整站用 Crawl,传 url 和 limit,异步任务完成后再取结果;官方 SDK 会自动轮询状态。
  5. 需要先操作页面再取内容用 Interact:先 scrape 拿到 scrape_id,再按自然语言指令让它搜索框输入、点结果。
  6. 不想指定 URL 就用 Agent,直接写 prompt 描述要什么数据,用 effort 参数控制推理投入(low / medium / high)。
  7. 在 agent 里用则是装好 skill 或 MCP 后,直接让 agent 去查网页,它会自己调 Firecrawl。

Firecrawl 适合谁用

  • 要给 RAG 或 agent 补充实时网页数据的开发者
  • 被 JS 渲染页面、反爬代理、限流折腾过的爬虫维护者
  • 需要把大量 PDF、DOCX 文档批量转成 markdown 给模型吃的人
  • 做竞品监控、价格监控、内容变更提醒的产品或运营团队
  • 希望数据不出内网、要自托管抓取服务的公司

Firecrawl 项目地址

  • GitHub 仓库:https://github.com/firecrawl/firecrawl
  • 项目官网:https://firecrawl.dev
  • 官方文档:https://docs.firecrawl.dev
  • 在线试用:https://firecrawl.dev/playground
  • MCP 服务:https://github.com/firecrawl/firecrawl-mcp-server
  • 技能库:https://github.com/firecrawl/skills