crw
fastCRW 是面向 AI 智能体的网页数据引擎,用 Rust 编写,既可以作为小型二进制文件运行,也可以使用托管 API。它提供五种操作:Scrape(把单个 URL 转成 markdown、HTML、链接、截图或模式化 JSON)、Crawl(对网站做有边界的爬取)、Map(不抓取每个页面,只发现 URL)、Search(网页搜索,可选择抓取结果)和 Extract(从一个或多个 URL 提取结构化字段)。README 称 crawl 和 map 默认遵守 `robots.txt`,并提醒用户尊重网站政策。
安装用 `curl -fsSL https://fastcrw.com/install | sh`,可在本地免费运行,无需账号。如果传入 `CRW_API_KEY`,同一个安装程序会连接你的云端密钥,并把 MCP 服务器注册到它检测到的工具中,如 Claude Code、Cursor、Codex、Gemini CLI、OpenCode 和 Windsurf;设置 `CRW_NO_AGENTS=1` 可跳过这一步。托管 API 增加了代理、JS 渲染和搜索,宣传有 1,000 个免费额度,而自托管时渲染器、搜索、认证、代理和容量都由你自己负责。
README 给出了基准测试说法:在 Firecrawl 公开的 1,000 个 URL 数据集上,称 fastCRW 比 Crawl4AI 和 Firecrawl 找回了更多真实内容,空闲内存约 14 MB;并称在 600 道 AA-Omniscience 题中答对 90.0%。两者都是厂商自己的结果,方法链接已附上。许可证分为两部分:引擎和 MCP 服务器是 AGPL-3.0,Python 和 TypeScript SDK 是 MIT,另有单独的嵌入式许可。最近一次推送是 2026-10-13。本评测基于 README 和仓库数据,我们没有实际运行过它。
功能特性
为什么选择它
权衡点
维护状况检查
- 最近提交
- 2026-11-06
- 近 90 天提交数
- 100+
- 近 90 天发布数
- 18
- 最新发布
- v0.42.1 (2026-11-06)
- 未关闭 issue
- 7
- 近期 issue 至少有一条评论的比例
- 10/10
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #660 `onlyMainContent` (default true) still emits filter UI, cart drawer, live-chat widget and cookie/browser-warning text5 条评论 · 2026-11-01
- #658 Infinite-list / "Load more" collection pages return only the first page of results; `?page=N` returns identical content and there is no way 2 条评论 · 2026-11-01
- #637 camoufox tier: reuse Cloudflare clearance across requests (per-host session) and allow camoufox-first ordering1 条评论 · 2026-10-16
- #590 Add crw to awesome-ai-plugins?0 条评论 · 2026-09-29
- #586 Proposal: optional fee-less per-request Nano (XNO) settlement rail beside credit billing0 条评论 · 2026-09-25
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
兼容性
快速开始
使用场景
同类工具
评论
暂无评论,来发表第一条吧