给 AI Agent 用的网页工具:浏览器、爬虫与搜索,分别什么时候用

按任务整理让 AI Agent 操作网站、读取网页、大规模采集数据和搜索网页的开源工具,涵盖 Playwright MCP、Chrome DevTools MCP、Firecrawl、Bright Data、Apify、Scrapling 和 Brave Search。

AgentIndex · 发布于 2026-10-08 · 更新于 2026-10-08

几乎每个 Agent 迟早都要用到网页:查资料、读页面、填表单、采集数据。这方面的工具分成几类,很容易混淆:浏览器自动化 Server 让 Agent 在网站上点来点去;爬取服务把网页变成干净的文本;搜索 API 负责先找到页面;托管的爬虫市场则从特定平台采集数据。按任务来选,可以省掉很多反复试错。

本文按“你想做什么”整理 AgentIndex 目录里的工具。细节来自各项目截至 2026 年 10 月的 README。

先从任务出发

你想让 Agent……看这一类
操作网站:点击、输入、登录、测试浏览器自动化(Playwright MCP、Chrome DevTools MCP、你自己的 Chrome)
把已知 URL 读成干净的文本爬取服务(Firecrawl)
根据关键词找到页面搜索 API(Brave Search)
从大量页面或平台采集结构化数据爬虫和爬虫市场(Firecrawl、Apify、Bright Data、Scrapling)
产出一份调研报告深度研究工具(GPT Researcher、Deep Research)

1. 让 Agent 操作网站

Playwright MCP

Playwright MCP 是微软官方的浏览器自动化 MCP Server。它向模型提供页面的结构化无障碍快照,而不是截图,所以操作更快、结果更确定,也不需要视觉模型。它支持 Chrome、Firefox、WebKit 和 Edge,可以使用持久化的配置文件、隔离的会话,或者连接你已打开的浏览器。Playwright 团队自己也指出,编程 Agent 搭配 Playwright CLI 和 Skills 可能效果更好,因为更省 token;MCP 则更适合需要保持状态的长时间循环。

Chrome DevTools MCP

Chrome DevTools MCP 由 Chrome DevTools 团队推出,面向调试:带优化建议的性能追踪、网络分析、带 source map 的控制台报错和截图,通过 Puppeteer 驱动。当你希望编程 Agent 自己检查前端改动的效果时,可以选它。要知道它默认会向 Google 发送使用统计,可以关闭。

你日常使用的浏览器

Chrome MCP Server 在你已经在用的 Chrome 里工作,沿用你的登录状态,还提供跨标签页的语义搜索。Nanobrowser 是一个 Chrome 扩展,自带规划和导航两个 Agent,使用你自己的 API Key 完成任务。它们的便利恰恰来自使用你已登录的浏览器,风险也在于此:在真实会话中行动的 Agent,可以触及真实账号。Chrome MCP Server 的仓库自 2026 年 1 月以来更新很少。

2. 把网页读成干净的文本

Firecrawl MCP Server 是 Firecrawl 的官方 Server,把页面以 Markdown 或符合你所提供 schema 的 JSON 形式返回。它的 README 说明了每个工具的适用场景:已知 URL 用 firecrawl_scrape;发现站点内的 URL 用 firecrawl_map;需要很多页面时用带数量限制的 firecrawl_crawl;从关键词出发用 firecrawl_search;需要先点击才能读取的页面用 firecrawl_interact。它既可以使用 Firecrawl 云服务,也可以使用自托管的实例。默认设置下会注册 27 个工具,会大量占用模型上下文,不需要的可以精简掉。

3. 根据关键词找到页面

Brave Search MCP 是 Brave 为其搜索 API 推出的官方 Server:支持网页、本地、图片、视频和新闻搜索,还有 AI 摘要,以及返回预先提取好的页面内容、用于回答溯源的 LLM 上下文工具。它需要 API Key,部分功能需要 Pro 套餐。搜索工具和爬取工具通常搭配使用:搜索找出候选页面,爬取读取真正重要的那些。

4. 大规模采集数据

托管方案:Apify 和 Bright Data

Apify MCP Server 通过托管 Server,让 Agent 可以使用 Apify 平台上数千个现成的爬虫(Actor),覆盖社交媒体、搜索引擎、地图和电商。Bright Data MCP 提供数十个工具,用于搜索、抓取和从主流平台提取结构化数据,请求会经过 Bright Data 的反封锁基础设施,自动处理机器人检测、验证码和代理轮换。两者都是付费服务,提供免费额度或试用,这是不用自己开发和维护爬虫的代价。

自己运行:Scrapling

Scrapling 是自适应的 Python 爬虫框架,从单个请求到完整的大规模爬取都能胜任。它的解析器在网站改版后能重新定位元素,爬虫支持限速、重试、暂停与恢复,并带有 MCP Server。你需要自己运行和维护,成本更低,但工作量更大。

更轻量的自托管选择

crw 是一个小巧的 Rust 爬虫,提供兼容 Firecrawl 的接口,可以自托管;它采用 AGPL-3.0 许可,作为服务对外提供之前请先阅读条款。

5. 产出一份调研报告

如果目标是一份文字结论,而不是原始数据,深度研究 Agent 会替你把搜索和阅读结合起来。GPT Researcher 能基于网页和本地文档撰写带引用的报告,Deep Research 是可自托管、报告可编辑的网页应用。它们底层用到的,就是上面这些类型的工具。

托管还是自己运行

托管(Firecrawl 云服务、Apify、Bright Data)自己运行(Scrapling、自托管 Firecrawl 或 crw)
上手成本低:一个 API Key较高:需要自己部署和维护
难爬的目标(机器人检测、验证码)部分服务内置了处理需要你自己处理,并且遵守规则
费用按用量计费你自己的基础设施和时间
数据控制请求会经过第三方数据留在自己的环境里

负责任地使用

网页工具作用在你无法控制的网站上,所以有几个习惯很重要:

  • 遵守网站条款和 robots 规则。 能绕过反爬保护的工具,让你很容易采集到网站并不希望被采集的数据。抓取之前请先确认网站条款和相关法律,涉及个人数据和社交平台时尤其要小心。
  • 把页面内容视为不可信。 网页里可能藏着针对你的模型的指令(提示词注入)。读取任意网页的 Agent,不应该同时持有权限很大的凭据。
  • 把已登录的会话分开。 自动化工作优先使用隔离的浏览器配置,而不是你个人的那一个。
  • 保护好 API Token。 有些托管地址允许把 Token 放在 URL 里,要避免它们出现在日志和共享配置文件中。
  • 限制工具数量以节省上下文。 每个 Server 都会在每次请求中加入工具描述,只开放任务需要的工具。

更多项目可以在浏览器自动化分类里浏览;在接入这些工具之前,也建议读一读我们的《如何挑选 MCP Server》。