PyreCrawl

PyreCrawl 为 AI Agent 提供强大的网页浏览能力，支持自托管的抓取、提取、爬取、站点地图生成和搜索，且无需API密钥或速率限制。它通过模型上下文协议（MCP）集成，并具备智能自动回退机制，确保在各种网站保护下都能可靠地访问网页数据。