crw
★ 1.2k
vs
extract-llms-docs
★ 35
crw vs extract-llms-docs
crw：fastCRW是一个高性能引擎，旨在将URLs转换为简洁的Markdown或结构化JSON。它为网络搜索、抓取、映射、爬取和数据提取提供了一站式解决方案，可作为本地Rust二进制文件运行，也可通过托管API使用。；extract-llms-docs：llm.energy是一个Web应用和MCP服务器，旨在从遵循llms.txt和install.md标准的网站获取、解析和组织文档。它将这些原始文档转换为结构化、为AI代理准备好的格式，供AI助手、LLM和开发者工具使用。
01
简评
crwBrowser Automation · ★ 1.2k
将网页内容转换为结构化数据（Markdown/JSON），以便进行进一步处理或存储。
extract-llms-docsRAG / Knowledge Base · ★ 35
将文档直接提供给AI编码助手，以增强上下文理解。
02
并排对比
字段
crwextract-llms-docs分类
浏览器自动化
RAG / 知识库
Stars
★ 1.2k
★ 35
许可证
AGPL-3.0
NOASSERTION
安装方式
curl -fsSL https://fastcrw.com/install | sh
git clone https://github.com/nirholas/extract-llms-docs.git && cd extract-llms-docs && pnpm install
更新时间
2天前
3天前
开源
是
是
标签
网页抓取, 数据提取, 内容转换
文档提取, AI代理工具, LLM集成
03
功能特性
crw01将单个URL抓取为Markdown、HTML、链接、截图或Schema JSON
02爬取限定范围的网站并收集其页面
03在不抓取每个页面的情况下发现并映射URLs
04搜索网页并可选择性地抓取选定的结果
05从一个或多个URL中提取结构化字段
extract-llms-docs01智能检测网站上的llms.txt和install.md标准。
02将文档转换为AI代理可用的格式，包括AGENT-GUIDE.md。
03支持将文档导出为Markdown、JSON、YAML或ZIP格式。
04通过AI从GitHub仓库或文档URL生成install.md指令。
05提供MCP服务器，可与Claude Desktop和Cursor等AI客户端集成。
04
使用场景
crw↳将网页内容转换为结构化数据（Markdown/JSON），以便进行进一步处理或存储。
↳构建需要实时和结构化网络信息的AI代理。
↳收集市场调研、竞品分析或内容聚合所需的数据。
↳监控网站变化或跟踪多个页面上的特定数据点。
↳通过SDK或REST API将网页数据提取功能集成到自定义应用程序中。
extract-llms-docs↳将文档直接提供给AI编码助手，以增强上下文理解。
↳使用最新文档构建上下文感知的AI代理。
↳为检索增强生成（RAG）系统创建文档管道。
↳自动聚合来自多个来源的文档。
↳为新项目或现有项目生成llms.txt和install.md指令。
05
适合场景
crw必备神器时下流行
extract-llms-docs—
FAQ
常见问题
crw 和 extract-llms-docs 有什么区别？
crw 和 extract-llms-docs 都属于 Browser Automation 类别。crw 有 1.2k Stars，extract-llms-docs 有 35 Stars。
crw 和 extract-llms-docs 哪个更好？
最佳选择取决于你的具体需求。将网页内容转换为结构化数据（Markdown/JSON），以便进行进一步处理或存储。 时选 crw，将文档直接提供给AI编码助手，以增强上下文理解。 时选 extract-llms-docs。
crw 是免费的吗？
是的，crw 在 GitHub 开源（AGPL-3.0）。
extract-llms-docs 是免费的吗？
是的，extract-llms-docs 在 GitHub 开源（NOASSERTION）。
推荐云部署
Ad在 DigitalOcean 上一键部署
为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器，新用户立享 $200 免费额度（60天有效）。
→