AgentIndex icon
AgentIndex
工具MCP 服务HOT分类热门最新选型清单对比指南
提交工具
工具MCP 服务HOT分类热门最新选型清单对比指南
首页/
浏览器自动化/
crw
crw logo

crw

活跃·★ 1.3k·AGPL-3.0·更新于 2026-11-21
★ 必备神器★ 时下流行

fastCRW 是面向 AI 智能体的网页数据引擎,用 Rust 编写,既可以作为小型二进制文件运行,也可以使用托管 API。它提供五种操作:Scrape(把单个 URL 转成 markdown、HTML、链接、截图或模式化 JSON)、Crawl(对网站做有边界的爬取)、Map(不抓取每个页面,只发现 URL)、Search(网页搜索,可选择抓取结果)和 Extract(从一个或多个 URL 提取结构化字段)。README 称 crawl 和 map 默认遵守 `robots.txt`,并提醒用户尊重网站政策。

安装用 `curl -fsSL https://fastcrw.com/install | sh`,可在本地免费运行,无需账号。如果传入 `CRW_API_KEY`,同一个安装程序会连接你的云端密钥,并把 MCP 服务器注册到它检测到的工具中,如 Claude Code、Cursor、Codex、Gemini CLI、OpenCode 和 Windsurf;设置 `CRW_NO_AGENTS=1` 可跳过这一步。托管 API 增加了代理、JS 渲染和搜索,宣传有 1,000 个免费额度,而自托管时渲染器、搜索、认证、代理和容量都由你自己负责。

README 给出了基准测试说法:在 Firecrawl 公开的 1,000 个 URL 数据集上,称 fastCRW 比 Crawl4AI 和 Firecrawl 找回了更多真实内容,空闲内存约 14 MB;并称在 600 道 AA-Omniscience 题中答对 90.0%。两者都是厂商自己的结果,方法链接已附上。许可证分为两部分:引擎和 MCP 服务器是 AGPL-3.0,Python 和 TypeScript SDK 是 MIT,另有单独的嵌入式许可。最近一次推送是 2026-10-13。本评测基于 README 和仓库数据,我们没有实际运行过它。

本文根据项目 README 和公开仓库数据整理,我们没有实际试用过该工具。数据截至 2026-11-19。

许可证
AGPL-3.0
最新发布
v0.46.2 · 2026-11-18
最近提交
2026-11-18
贡献者
17
复刻数
102
未关闭的 issue 和 PR
8
首次发布
2026-03-02
npm 包
crw-sdk 0.46.2 · 1,637 上周下载
PyPI 包
crw 0.46.2 · 1,009 上周下载

来源:GitHub、npm 和 PyPI 的公开接口。

#网页抓取#数据提取#内容转换#网页爬虫#API接口#命令行工具#AI代理工具#Rust语言
$ 安装
$ curl -fsSL https://fastcrw.com/install | sh
↗ 访问官网★ GitHub
01

功能特性

01将单个URL抓取为Markdown、HTML、链接、截图或Schema JSON
02爬取限定范围的网站并收集其页面
03在不抓取每个页面的情况下发现并映射URLs
04搜索网页并可选择性地抓取选定的结果
05从一个或多个URL中提取结构化字段
02

为什么选择它

+一个引擎提供抓取、爬取、映射、搜索和提取五种操作,输出 markdown 或 JSON
+可免费在本地运行的 Rust 小型二进制,也有托管 API 可选
+安装程序可把它的 MCP 服务器注册到 Claude Code、Cursor、Codex、Gemini CLI 等
+crawl 和 map 默认遵守 robots.txt,SDK 为 MIT
03

权衡点

!引擎和 MCP 服务器是 AGPL-3.0,可能不适合闭源产品,嵌入需要另行授权
!准确度、时延和内存的说法是厂商自己的基准
!托管代理和 JS 渲染属于付费云服务,自托管则需要你自己配置
!抓取必须遵守网站条款和法律;用 `curl | sh` 安装时,请先阅读脚本
04

维护状况检查

活跃检查日期: 2026-11-06
最近提交
2026-11-06
近 90 天提交数
100+
近 90 天发布数
18
最新发布
v0.42.1 (2026-11-06)
未关闭 issue
7
近期 issue 至少有一条评论的比例
10/10
近 12 周每周提交数
近 12 周每周提交数: 20, 27, 29, 44, 37, 13, 23, 5, 54, 15, 18, 78

最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。

状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。

讨论最多的未关闭 issue

  • #660 `onlyMainContent` (default true) still emits filter UI, cart drawer, live-chat widget and cookie/browser-warning text5 条评论 · 2026-11-01
  • #658 Infinite-list / "Load more" collection pages return only the first page of results; `?page=N` returns identical content and there is no way 2 条评论 · 2026-11-01
  • #637 camoufox tier: reuse Cloudflare clearance across requests (per-host session) and allow camoufox-first ordering1 条评论 · 2026-10-16
  • #590 Add crw to awesome-ai-plugins?0 条评论 · 2026-09-29
  • #586 Proposal: optional fee-less per-request Nano (XNO) settlement rail beside credit billing0 条评论 · 2026-09-25

issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。

05

兼容性

Rust
运行时
已通过文档验证
MacOS
操作系统
已通过文档验证
Linux
操作系统
已通过文档验证
Python
SDK
已通过文档验证
Node.js
SDK
已通过文档验证
AI Agents (MCP)
集成
已通过文档验证
06

快速开始

1
$ curl -fsSL https://fastcrw.com/install | sh
07

使用场景

↳将网页内容转换为结构化数据(Markdown/JSON),以便进行进一步处理或存储。
↳构建需要实时和结构化网络信息的AI代理。
↳收集市场调研、竞品分析或内容聚合所需的数据。
↳监控网站变化或跟踪多个页面上的特定数据点。
↳通过SDK或REST API将网页数据提取功能集成到自定义应用程序中。
08

同类工具

⚡热门对决:
VSwigolo★5.6k→VSfirecrawl-mcp-server★7.9k→VSaginxbrowser★56→VSneobrowser★100→
wigolo logo
wigolo★ 5.6k
wigolo是一个本地优先的网络智能工具,为AI编码代理提供全面的网络交互能力(如搜索、抓取、提取和缓存),无需API密钥或云服务。
VS对比→
firecrawl-mcp-server logo
firecrawl-mcp-server★ 7.9k
一个模型上下文协议(MCP)服务器实现,与Firecrawl集成以提供网页抓取能力。
VS对比→
PyScrappy logo
PyScrappy★ 265
PyScrappy是一个AI原生的网络爬虫工具包,可将网站转化为结构化的、LLM就绪的数据,并能作为Python库或MCP服务器供AI代理使用。
aginxbrowser logo
aginxbrowser★ 56
专为AI代理设计的浏览器,能够查看、阅读、操作和记忆网页内容。
VS对比→
neobrowser logo
neobrowser★ 100
NeoBrowser 允许 AI 模型通过驱动真实 Chrome 浏览器和使用真实登录会话,以规避指纹识别和机器人检测。
VS对比→
browser-mcp logo
browser-mcp★ 66
Agent360 Browser MCP 使AI代理能够控制您的真实Chrome浏览器,利用现有会话和凭据,从而绕过反机器人机制、验证码和多因素认证。
VS对比→
anymd logo
anymd★ 1.1k
一个快速的Rust MCP服务器和CLI工具,可将各种文件格式(如PDF、Word、图像、音视频)转换为干净的Markdown,供AI智能体使用。
VS对比→
scrapfly-mcp logo
scrapfly-mcp★ 15
Scrapfly MCP服务器通过模型上下文协议(MCP)将AI助手连接到实时网络数据,使其能够访问任何网站。
查看全部替代品 →

评论

登录后发表评论

暂无评论,来发表第一条吧

本页内容
01功能特性02为什么选择它03权衡点04维护状况检查05兼容性06快速开始07使用场景08同类工具
fastcrw /
crw
↗

AGPL-3.0 的 Rust 引擎,把 URL 转成 markdown 或 JSON,提供搜索、抓取、映射、爬取和提取,可本地运行或使用托管 API

1.3k102AGPL-3.0
最后更新1天前
状态活跃
分类浏览器自动化
贡献者17
最新发布v0.46.2
链接
文档↗讨论↗问题↗版本↗
推荐云部署
Ad

在 DigitalOcean 上一键部署

为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。

立即领取 $200 免费额度
© 2026 AgentIndex.app|由十年 iOS 开发者构建。
按场景挑选关于我们联系我们广告合作隐私政策使用条款QYSGitHub请作者喝咖啡 ☕

按分类浏览

MCP 服务器代码助手工作流自动化RAG / 知识库多智能体浏览器自动化大模型基础设施开发者工具可观测性

与 Anthropic, OpenAI 或 Microsoft 无关。