给 AI Agent 用的网页工具:浏览器、爬虫与搜索,分别什么时候用
按任务整理让 AI Agent 操作网站、读取网页、大规模采集数据和搜索网页的开源工具,涵盖 Playwright MCP、Chrome DevTools MCP、Firecrawl、Bright Data、Apify、Scrapling 和 Brave Search。
AgentIndex · 发布于 2026-10-08 · 更新于 2026-10-08
几乎每个 Agent 迟早都要用到网页:查资料、读页面、填表单、采集数据。这方面的工具分成几类,很容易混淆:浏览器自动化 Server 让 Agent 在网站上点来点去;爬取服务把网页变成干净的文本;搜索 API 负责先找到页面;托管的爬虫市场则从特定平台采集数据。按任务来选,可以省掉很多反复试错。
本文按“你想做什么”整理 AgentIndex 目录里的工具。细节来自各项目截至 2026 年 10 月的 README。
先从任务出发
| 你想让 Agent…… | 看这一类 |
|---|---|
| 操作网站:点击、输入、登录、测试 | 浏览器自动化(Playwright MCP、Chrome DevTools MCP、你自己的 Chrome) |
| 把已知 URL 读成干净的文本 | 爬取服务(Firecrawl) |
| 根据关键词找到页面 | 搜索 API(Brave Search) |
| 从大量页面或平台采集结构化数据 | 爬虫和爬虫市场(Firecrawl、Apify、Bright Data、Scrapling) |
| 产出一份调研报告 | 深度研究工具(GPT Researcher、Deep Research) |
1. 让 Agent 操作网站
Playwright MCP
Playwright MCP 是微软官方的浏览器自动化 MCP Server。它向模型提供页面的结构化无障碍快照,而不是截图,所以操作更快、结果更确定,也不需要视觉模型。它支持 Chrome、Firefox、WebKit 和 Edge,可以使用持久化的配置文件、隔离的会话,或者连接你已打开的浏览器。Playwright 团队自己也指出,编程 Agent 搭配 Playwright CLI 和 Skills 可能效果更好,因为更省 token;MCP 则更适合需要保持状态的长时间循环。
Chrome DevTools MCP
Chrome DevTools MCP 由 Chrome DevTools 团队推出,面向调试:带优化建议的性能追踪、网络分析、带 source map 的控制台报错和截图,通过 Puppeteer 驱动。当你希望编程 Agent 自己检查前端改动的效果时,可以选它。要知道它默认会向 Google 发送使用统计,可以关闭。
你日常使用的浏览器
Chrome MCP Server 在你已经在用的 Chrome 里工作,沿用你的登录状态,还提供跨标签页的语义搜索。Nanobrowser 是一个 Chrome 扩展,自带规划和导航两个 Agent,使用你自己的 API Key 完成任务。它们的便利恰恰来自使用你已登录的浏览器,风险也在于此:在真实会话中行动的 Agent,可以触及真实账号。Chrome MCP Server 的仓库自 2026 年 1 月以来更新很少。
2. 把网页读成干净的文本
Firecrawl MCP Server 是 Firecrawl 的官方 Server,把页面以 Markdown 或符合你所提供 schema 的 JSON 形式返回。它的 README 说明了每个工具的适用场景:已知 URL 用 firecrawl_scrape;发现站点内的 URL 用 firecrawl_map;需要很多页面时用带数量限制的 firecrawl_crawl;从关键词出发用 firecrawl_search;需要先点击才能读取的页面用 firecrawl_interact。它既可以使用 Firecrawl 云服务,也可以使用自托管的实例。默认设置下会注册 27 个工具,会大量占用模型上下文,不需要的可以精简掉。
3. 根据关键词找到页面
Brave Search MCP 是 Brave 为其搜索 API 推出的官方 Server:支持网页、本地、图片、视频和新闻搜索,还有 AI 摘要,以及返回预先提取好的页面内容、用于回答溯源的 LLM 上下文工具。它需要 API Key,部分功能需要 Pro 套餐。搜索工具和爬取工具通常搭配使用:搜索找出候选页面,爬取读取真正重要的那些。
4. 大规模采集数据
托管方案:Apify 和 Bright Data
Apify MCP Server 通过托管 Server,让 Agent 可以使用 Apify 平台上数千个现成的爬虫(Actor),覆盖社交媒体、搜索引擎、地图和电商。Bright Data MCP 提供数十个工具,用于搜索、抓取和从主流平台提取结构化数据,请求会经过 Bright Data 的反封锁基础设施,自动处理机器人检测、验证码和代理轮换。两者都是付费服务,提供免费额度或试用,这是不用自己开发和维护爬虫的代价。
自己运行:Scrapling
Scrapling 是自适应的 Python 爬虫框架,从单个请求到完整的大规模爬取都能胜任。它的解析器在网站改版后能重新定位元素,爬虫支持限速、重试、暂停与恢复,并带有 MCP Server。你需要自己运行和维护,成本更低,但工作量更大。
更轻量的自托管选择
crw 是一个小巧的 Rust 爬虫,提供兼容 Firecrawl 的接口,可以自托管;它采用 AGPL-3.0 许可,作为服务对外提供之前请先阅读条款。
5. 产出一份调研报告
如果目标是一份文字结论,而不是原始数据,深度研究 Agent 会替你把搜索和阅读结合起来。GPT Researcher 能基于网页和本地文档撰写带引用的报告,Deep Research 是可自托管、报告可编辑的网页应用。它们底层用到的,就是上面这些类型的工具。
托管还是自己运行
| 托管(Firecrawl 云服务、Apify、Bright Data) | 自己运行(Scrapling、自托管 Firecrawl 或 crw) | |
|---|---|---|
| 上手成本 | 低:一个 API Key | 较高:需要自己部署和维护 |
| 难爬的目标(机器人检测、验证码) | 部分服务内置了处理 | 需要你自己处理,并且遵守规则 |
| 费用 | 按用量计费 | 你自己的基础设施和时间 |
| 数据控制 | 请求会经过第三方 | 数据留在自己的环境里 |
负责任地使用
网页工具作用在你无法控制的网站上,所以有几个习惯很重要:
- 遵守网站条款和 robots 规则。 能绕过反爬保护的工具,让你很容易采集到网站并不希望被采集的数据。抓取之前请先确认网站条款和相关法律,涉及个人数据和社交平台时尤其要小心。
- 把页面内容视为不可信。 网页里可能藏着针对你的模型的指令(提示词注入)。读取任意网页的 Agent,不应该同时持有权限很大的凭据。
- 把已登录的会话分开。 自动化工作优先使用隔离的浏览器配置,而不是你个人的那一个。
- 保护好 API Token。 有些托管地址允许把 Token 放在 URL 里,要避免它们出现在日志和共享配置文件中。
- 限制工具数量以节省上下文。 每个 Server 都会在每次请求中加入工具描述,只开放任务需要的工具。
更多项目可以在浏览器自动化分类里浏览;在接入这些工具之前,也建议读一读我们的《如何挑选 MCP Server》。