Skill 说明
Firecrawl 是什么
Firecrawl 是一个面向 AI agent 的网页上下文 API,提供搜索、抓取、解析、爬站、站点地图、批量抓取和页面交互等能力,目标是把互联网转成 LLM 能直接吃的干净数据。它自带轮换代理、调度、限流处理和被 JS 阻挡内容的渲染,调用方不需要自己配置这些。
官方给出的三个关键数字:覆盖 96% 的网页(含 JS 重度渲染页面),跨百万级页面的 P95 延迟为 3.4 秒,输出是干净的 markdown、结构化 JSON 或截图。它还能把 PDF、DOCX 等文档转成 Markdown,以及在提取前对页面执行点击、滚动、输入、等待等动作。
| 能力 | 说明 |
|---|---|
| Search | 搜网页并直接拿到结果页正文 |
| Scrape | 任意 URL 转 markdown / HTML / 截图 / 结构化 JSON |
| Interact | 抓取后继续用自然语言指令操作页面 |
| Crawl | 一次请求抓整站 |
| Map | 秒级列出站点全部 URL |
| Batch Scrape | 异步批量抓取上千 URL |
| Agent | 只描述需求,自带 spark-2 模型自主检索取数 |
| Monitor | 网站内容变化时通知 |
开源部分采用 AGPL-3.0,SDK 和部分 UI 组件是 MIT。既可以用官方云服务,也可以按自托管文档部署本地实例。GitHub 上约 20 万 star。
Firecrawl 怎么安装
最省事是直接用云端服务,到 firecrawl.dev 注册拿 API Key,然后装 SDK:
pip install firecrawl
npm install firecrawl命令行工具可以直接用 npx 跑,一条命令把 Firecrawl 接进你的 agent,装完重启 agent 生效(支持 Claude Code、Antigravity、OpenCode 等):
npx -y firecrawl-cli@latest init --all --browser接 MCP 客户端:
{
"mcpServers": {
"firecrawl-mcp": {
"command": "npx",
"args": ["-y", "firecrawl-mcp"],
"env": { "FIRECRAWL_API_KEY": "fc-YOUR_API_KEY" }
}
}
}想自建则参照官方自托管指南:https://docs.firecrawl.dev/contributing/self-host
Firecrawl 怎么使用
- 抓单个页面转 markdown:调用
app.scrape('firecrawl.dev'),返回里直接带 markdown 正文。 - 要结构化数据就带 schema,让接口按你定义的字段返回 JSON,不用自己写解析。
- 搜网页用
app.search('关键词', limit=5),结果自带每个页面的正文,不用二次抓取。 - 抓整站用 Crawl,传 url 和 limit,异步任务完成后再取结果;官方 SDK 会自动轮询状态。
- 需要先操作页面再取内容用 Interact:先 scrape 拿到 scrape_id,再按自然语言指令让它搜索框输入、点结果。
- 不想指定 URL 就用 Agent,直接写 prompt 描述要什么数据,用 effort 参数控制推理投入(low / medium / high)。
- 在 agent 里用则是装好 skill 或 MCP 后,直接让 agent 去查网页,它会自己调 Firecrawl。
Firecrawl 适合谁用
- 要给 RAG 或 agent 补充实时网页数据的开发者
- 被 JS 渲染页面、反爬代理、限流折腾过的爬虫维护者
- 需要把大量 PDF、DOCX 文档批量转成 markdown 给模型吃的人
- 做竞品监控、价格监控、内容变更提醒的产品或运营团队
- 希望数据不出内网、要自托管抓取服务的公司
Firecrawl 项目地址
- GitHub 仓库:https://github.com/firecrawl/firecrawl
- 项目官网:https://firecrawl.dev
- 官方文档:https://docs.firecrawl.dev
- 在线试用:https://firecrawl.dev/playground
- MCP 服务:https://github.com/firecrawl/firecrawl-mcp-server
- 技能库:https://github.com/firecrawl/skills