Firecrawl 网页抓取工具：AI 友好的 Markdown 转换与反爬虫处理

firecrawl-scraping by casper-studios/casper-marketplace

173 周安装量

10 GitHub Stars

GitHub

安装命令

npx skills add https://github.com/casper-studios/casper-marketplace --skill firecrawl-scraping

内容创作自动化数据处理

🇨🇳中文介绍

Firecrawl 网页抓取

概述

抓取单个网页并将其转换为干净、可供大语言模型（LLM）使用的 Markdown 格式。能够处理 JavaScript 渲染、反机器人保护和动态内容。

快速决策树

What are you scraping?
│
├── Single page (article, blog, docs)
│   └── references/single-page.md
│   └── Script: scripts/firecrawl_scrape.py
│
└── Entire website (multiple pages, crawling)
    └── references/website-crawler.md
    └── (Use Apify Website Content Crawler for multi-page)

环境设置

# Required in .env
FIRECRAWL_API_KEY=fc-your-api-key-here

获取您的 API 密钥：https://firecrawl.dev/app/api-keys

常见用法

简单抓取

python scripts/firecrawl_scrape.py "https://example.com/article"

使用选项

python scripts/firecrawl_scrape.py "https://wsj.com/article" \
  --proxy stealth \
  --format markdown summary \
  --timeout 60000

广告位招租

在这里展示您的产品或服务

触达数万 AI 开发者，精准高效

联系我们

相关 Skills

FlyClaw：零登录航班聚合查询工具，Python实现多源航班信息与价格搜索

4,000,000 周安装

Azure RBAC 权限管理工具：查找最小角色、创建自定义角色与自动化分配

123,100 周安装

GitHub Actions 官方文档查询助手 - 精准解答 CI/CD 工作流问题

33,800 周安装

Skills CLI 使用指南：AI Agent 技能包管理器安装与管理教程

33,600 周安装

模式	使用场景
`basic`	标准网站，速度最快
`stealth`	反机器人保护、付费内容（如 WSJ, NYT）
`auto`	让 Firecrawl 决定（推荐）

markdown - 干净的 Markdown 内容（默认）
html - 原始 HTML
summary - AI 生成的摘要
screenshot - 页面截图
links - 页面上的所有链接

每页约 1 个积分。Stealth 代理模式可能会消耗额外积分。

将 FIRECRAWL_API_KEY 存储在 .env 文件中（切勿提交到 git）
API 密钥可在 https://firecrawl.dev/app/api-keys 重新生成
切勿在脚本输出中记录或打印 API 密钥
使用环境变量，而非硬编码值

仅抓取可公开访问的网页
抓取的内容会临时由 Firecrawl 服务器处理
Markdown 输出存储在本地 .tmp/ 目录中
截图（如请求）存储在本地
Firecrawl 在请求后不会持久保留数据

API 密钥提供对抓取功能的完全访问权限
无细粒度权限范围可用
通过 Firecrawl 仪表板监控使用情况

Robots.txt : Firecrawl 默认遵守 robots.txt
仅限公开内容 : 仅抓取可公开访问的页面
服务条款 : 遵守目标网站的服务条款
速率限制 : 内置速率限制防止滥用
Stealth 代理 : 仅在必要时使用 stealth 模式（付费新闻，而非身份验证绕过）
GDPR : 抓取的内容可能包含个人身份信息（PII） - 请相应处理
版权 : 尊重抓取内容的知识产权

问题：积分耗尽

症状： API 返回“积分不足”或配额超限错误 原因： 账户积分已用完 解决方案：

在 https://firecrawl.dev/app 检查积分余额
升级计划或购买额外积分
降低抓取频率
使用 basic 代理模式以节省积分

问题：页面渲染不正确

症状： 返回空内容或部分 HTML 原因： 重度使用 JavaScript 的页面未完全加载 解决方案：

使用 --js-render 标志启用 JavaScript 渲染
使用 --timeout 60000 增加超时时间（60 秒）
对受保护的站点尝试 stealth 代理模式
使用 --wait-for 选择器等待特定元素

问题：403 禁止访问错误

症状： 脚本返回 403 状态码 原因： 网站阻止自动化访问 解决方案：

启用 stealth 代理模式
在请求之间添加延迟
在不同时间尝试（某些网站按时间进行速率限制）
检查网站是否需要登录（不支持登录）

问题：Markdown 输出为空

症状： 抓取成功但 Markdown 为空或格式错误 原因： 动态内容在页面加载后加载，或页面结构异常 解决方案：

增加 JavaScript 执行等待时间
使用 --wait-for 等待特定内容
尝试 html 格式以查看原始内容
检查内容是否在 iframe 中（并非始终支持）

问题：超时错误

症状： 请求在完成前超时 原因： 页面加载缓慢或页面内容过大 解决方案：

增加超时值（最高 120000 毫秒）
使用 basic 代理以获得更快的响应
如果可能，定位特定的页面部分
检查网站是否出现问题

references/single-page.md - 单页抓取详情
references/website-crawler.md - 多页网站爬取

技能： firecrawl-scraping → parallel-research 使用场景： 抓取竞争对手页面，然后分析内容策略 流程：

使用 Firecrawl 抓取竞争对手网站页面
转换为干净的 Markdown
使用 parallel-research 分析定位、信息传递、功能

技能： firecrawl-scraping → content-generation 使用场景： 根据网络研究创建摘要文档 流程：

抓取某个主题下的多篇文章页面
合并 Markdown 内容
通过 content-generation 生成摘要文档

技能： firecrawl-scraping → attio-crm 使用场景： 用网站数据丰富公司记录 流程：

抓取公司网站（关于页面、团队页面、产品页面）
提取关键信息（融资、团队规模、产品）
使用丰富的数据更新 Attio CRM 中的公司记录

🇺🇸English

Firecrawl Scraping

Overview

Scrape individual web pages and convert them to clean, LLM-ready markdown. Handles JavaScript rendering, anti-bot protection, and dynamic content.

Quick Decision Tree

What are you scraping?
│
├── Single page (article, blog, docs)
│   └── references/single-page.md
│   └── Script: scripts/firecrawl_scrape.py
│
└── Entire website (multiple pages, crawling)
    └── references/website-crawler.md
    └── (Use Apify Website Content Crawler for multi-page)

Environment Setup

# Required in .env
FIRECRAWL_API_KEY=fc-your-api-key-here

Get your API key: https://firecrawl.dev/app/api-keys

Common Usage

Simple Scrape

python scripts/firecrawl_scrape.py "https://example.com/article"

With Options

python scripts/firecrawl_scrape.py "https://wsj.com/article" \
  --proxy stealth \
  --format markdown summary \
  --timeout 60000

Proxy Modes

Mode	Use Case
`basic`	Standard sites, fastest
`stealth`	Anti-bot protection, premium content (WSJ, NYT)
`auto`	Let Firecrawl decide (recommended)

Output Formats

markdown - Clean markdown content (default)
html - Raw HTML
summary - AI-generated summary
screenshot - Page screenshot
links - All links on page

Cost

~1 credit per page. Stealth proxy may use additional credits.

Security Notes

Credential Handling

Store FIRECRAWL_API_KEY in .env file (never commit to git)
API keys can be regenerated at https://firecrawl.dev/app/api-keys
Never log or print API keys in script output
Use environment variables, not hardcoded values

Data Privacy

Only scrapes publicly accessible web pages
Scraped content is processed by Firecrawl servers temporarily
Markdown output stored locally in .tmp/ directory
Screenshots (if requested) are stored locally
No persistent data retention by Firecrawl after request

Access Scopes

API key provides full access to scraping features
No granular permission scopes available
Monitor usage via Firecrawl dashboard

Compliance Considerations

Robots.txt : Firecrawl respects robots.txt by default
Public Content Only : Only scrape publicly accessible pages
Terms of Service : Respect target site ToS
Rate Limiting : Built-in rate limiting prevents abuse
Stealth Proxy : Use stealth mode only when necessary (paywalled news, not auth bypass)
GDPR : Scraped content may contain PII - handle accordingly
Copyright : Respect intellectual property rights of scraped content

Troubleshooting

Common Issues

Issue: Credits exhausted

Symptoms: API returns "insufficient credits" or quota exceeded error Cause: Account credits depleted Solution:

Check credit balance at https://firecrawl.dev/app
Upgrade plan or purchase additional credits
Reduce scraping frequency
Use basic proxy mode to conserve credits

Issue: Page not rendering correctly

Symptoms: Empty content or partial HTML returned Cause: JavaScript-heavy page not fully loading Solution:

Enable JavaScript rendering with --js-render flag
Increase timeout with --timeout 60000 (60 seconds)
Try stealth proxy mode for protected sites
Wait for specific elements with --wait-for selector

Issue: 403 Forbidden error

Symptoms: Script returns 403 status code Cause: Site blocking automated access Solution:

Enable stealth proxy mode
Add delay between requests
Try at different times (some sites rate limit by time)
Check if site requires login (not supported)

Issue: Empty markdown output

Symptoms: Scrape succeeds but markdown is empty or malformed Cause: Dynamic content loaded after page load, or unusual page structure Solution:

Increase wait time for JavaScript to execute
Use --wait-for to wait for specific content
Try html format to see raw content
Check if content is in an iframe (not always supported)

Issue: Timeout errors

Symptoms: Request times out before completion Cause: Slow page load or large page content Solution:

Increase timeout value (up to 120000ms)
Use basic proxy for faster response
Target specific page sections if possible
Check if site is experiencing issues

Resources

references/single-page.md - Single page scraping details
references/website-crawler.md - Multi-page website crawling

Integration Patterns

Scrape and Analyze

Skills: firecrawl-scraping → parallel-research Use case: Scrape competitor pages, then analyze content strategy Flow:

Scrape competitor website pages with Firecrawl
Convert to clean markdown
Use parallel-research to analyze positioning, messaging, features

Scrape and Document

Skills: firecrawl-scraping → content-generation Use case: Create summary documents from web research Flow:

Scrape multiple article pages on a topic
Combine markdown content
Generate summary document via content-generation

Scrape and Enrich CRM

Skills: firecrawl-scraping → attio-crm Use case: Enrich company records with website data Flow:

Scrape company website (about page, team page, product pages)
Extract key information (funding, team size, products)
Update company record in Attio CRM with enriched data

Weekly Installs

122

Repository

casper-studios/…ketplace

GitHub Stars

First Seen

Feb 24, 2026

Security Audits

Gen Agent Trust HubPass SocketPass SnykWarn

Installed on

github-copilot121

codex121

kimi-cli121

gemini-cli121

cursor121

amp121

通过 LiteLLM 代理让 Claude Code 对接 GitHub Copilot 运行 | 高级变通方案指南