AgenticCrawler
活跃·★ 15·MIT·更新于 2026-10-17
AgenticCrawler 是一个功能强大的浏览器自动化代理，以单个 Rust 二进制文件实现，能够导航、交互并从网页提取信息。它超越了基本操作，集成了完整的开发者工具可观察性，允许代理检查网络流量、控制台错误、性能和可访问性，以实现全面的网页交互和调试。
#浏览器自动化#AI 代理#网络爬虫#开发者工具#LLM 集成#Rust#多智能体#工作流自动化
01
功能特性
01单一二进制文件，零运行时：自包含的 Rust 可执行文件，无需外部运行时（Python、Node、Docker）。
02完整的开发者工具可观察性：代理可以一流地访问开发者工具，进行网络检查、控制台日志、性能和可访问性审计。
03智能抓取路由与子代理并行：智能地在 HTTP 和无头浏览器之间切换以进行渲染，并支持使用子代理进行并发多页爬取。
04广泛的LLM与MCP集成：兼容25+ LLM提供商，并作为MCP客户端使用自定义工具，同时作为MCP服务器暴露其浏览器能力。
02
兼容性
Rust
运行时
已通过文档验证
Node.js
依赖
已通过文档验证
Linux
操作系统
已通过文档验证
macOS
操作系统
已通过文档验证
Windows
操作系统
已通过文档验证
03
快速开始
1
$ curl -fsSL https://raw.githubusercontent.com/Mingye-Lu/AgenticCrawler/main/install.sh | bash
04
使用场景
↳抓取动态网页内容：从静态或 JavaScript 渲染页面中提取结构化数据（例如，产品目录、GitHub 趋势存储库），包括分页。
↳自动化表单填写和提交：以编程方式填写和提交网页表单，并确认结果。
↳价格监控和数据提取：高效监控单页上的特定数据点（例如，产品价格）。
↳并行多页爬取：通过使用子代理并发爬取多个页面来加速大规模数据收集。
05
同类工具
评论
登录后发表评论
暂无评论，来发表第一条吧