thunderbit-mcp-server:Thunderbit MCP Server 是 Thunderbit Open API 的开源工具包,包含 CLI、MCP 服务器(7 个工具)和 Claude Code 插件三个包,可将任意网页转为 LLM 可用 Markdown、按 JSON Schema 提取结构化数据,支持批量处理,免费 API key 即可上手。;crw:CRW 是一个专为 AI 代理设计的单二进制网页抓取工具,支持命令行、MCP 和 REST API。它与 Firecrawl 兼容,提供 JavaScript 渲染功能,占用资源极低。可自托管或通过云服务使用。
将干净的网页内容输入 LLM 流水线用于 RAG 或摘要
用于向量数据库的 RAG 管道