browser-harness 评测 浏览器操作与宿主错误处理
实测 browser-harness 0.1.13 的本地表单、上传、状态保留、标签切换和错误恢复,解释真实浏览器会话的接入范围与 MCP 返回值处理。
AgentIndex · 发布于 2026-11-04 · 更新于 2026-11-04
browser-harness 为编程智能体提供浏览器操作层。它通过 Chrome DevTools Protocol,也就是 CDP,连接浏览器,并提供点击、输入、读取页面、上传文件等能力。项目的典型用途是在已有登录会话中完成工作,让智能体复用人已经打开的浏览器环境。
我们的判断是:是否采用它,首先取决于任务需要什么浏览器状态,以及宿主能否正确处理失败结果。本次受控检查完成了基础交互,也发现一个值得接入者留意的细节:部分工具失败会写在返回的 JSON 中,而 MCP 外层仍为 isError: false。
本次使用的是独立测试浏览器
2026-11-04,我们在独立 Python 环境安装了 browser-harness[mcp]==0.1.13,使用 MCP TypeScript 客户端 2.4.0 调用它的 MCP 入口,浏览器为 Chrome 156。测试显式传入自己启动的 CDP 地址,采用全新的无界面配置,只访问本机的人工页面。
这个设置用于验证控制链路,没有复现日常 Chrome 的首次授权,也没有测试某个网站的登录、验证码、支付、长任务或模型自主规划。实际使用个人浏览器的便利程度,应在自己的宿主与目标网站上另行判断。
八项检查揭示了什么
人工页面包含一个名称输入框、保存按钮、文件输入框和结果区域。保存操作将名称写入该测试站点的 localStorage,便于检查刷新后的状态。
| 检查 | 实际结果 |
|---|---|
| 初始化及工具发现 | 成功,发现 23 个工具 |
| 打开并读取本地页面 | 成功,页面标题与地址符合预期 |
| 输入并按坐标点击 | 结果区域显示 Saved: AgentIndex |
| 上传本地文本文件 | 页面显示指定的测试文件名 |
| 刷新后的本地状态 | 输入框恢复 AgentIndex |
| 标签切换与关闭 | 能在两个自有标签间切换并关闭测试标签 |
| 不存在的输入框 | 返回 JSON 错误,之后仍能读取页面 |
| 截图文件 | 生成可读取的 756 × 494 PNG |
刷新检查只说明这个样本的 localStorage 被保留,不能由此推断所有网站的身份会话都能持续可用。文件上传检查只覆盖一个普通文件输入框,也没有覆盖拖拽区或复杂的分片上传。
完整页面、验证程序、运行环境和结果在本站的可复现样本。样本关闭了默认录制和遥测;截图是对人工页面的一次显式检查。
宿主需要识别返回内容中的错误
针对不存在的输入框,调用返回的文本块是一个带 error 字段的 JSON 对象,但 MCP 外层的 isError 值为 false。随后调用页面信息工具仍然成功,说明这次失败没有终止服务进程。这与项目文档描述的“出错时返回错误 JSON、保持服务运行”相符。MCP 接口说明
因此,宿主若把“请求已返回”直接记为“任务已完成”,会错误地认为输入已经发生。接入时应先解析结果,再检查错误字段,并通过页面状态判断任务是否真的完成。我们的样本用结果文本确认保存成功,用页面上的文件名确认上传成功。
对于容易重复执行的操作,错误恢复还要考虑动作是否已经发生。读取页面可以重试,而提交申请或发出消息应先查验结果,再决定是否再次操作。这里的工具错误格式需要由宿主接入逻辑显式处理;它不能替代业务层的完成条件。
浏览器连接范围决定使用方式
官方默认流程连接正在运行的 Chrome,并要求相应的远程调试授权。这种连接面向整个浏览器实例,而非只向智能体开放一个业务按钮。实际部署时,需要根据任务选择浏览器配置和账号范围。项目与连接方式
一次只涉及一个后台系统的任务,可以先使用专门的工作配置验证流程;对重复的 CI 检查,则应保留干净、可重建的测试配置作为基线。复用真实会话有助于减少重复登录,但同时会让结果依赖该配置的 Cookie、扩展、页面状态和账号权限。
我们的测试机还遇到过环境问题:系统代理使本地 WebSocket 握手试图走 SOCKS,最初连接失败。在测试进程中让回环地址绕过代理后,同一版本连接成功。这是本机配置造成的前置条件,不能据此推断项目在所有系统上都存在连接缺陷。保存端点、诊断输出和连接方式,有助于区分“没有连接上”和“任务操作失败”。
可复用辅助函数需要代码审阅
项目允许智能体将任务中缺少的能力写进本地工作区,再在后续任务中使用。这里保留的是可执行辅助代码及工作状态;不能直接将其理解为模型完成了一次训练,或以后面对所有类似网站都能自动成功。安装与工作区说明
对团队而言,这些辅助函数应像其他自动化脚本一样审查:页面假设是否明确、失败后如何恢复、是否把上一次账号或页面的信息写成常量。本次只调用现成的 MCP 工具,没有验证智能体自主生成辅助函数的质量。
适合怎样的试点
若主要需求是让编程智能体协助处理已有浏览器中的任务,可以从一条容易撤销、结果可见的流程开始,例如填写内部草稿并停在提交前。先记录完成条件,再验证元素变化和失败恢复,最后才扩大到更长的流程。
如果目标是稳定地测试自己的网页,应同时考虑团队现有的 Playwright 测试或其他可重建浏览器方案。官方的工具比较也有特定宿主、云浏览器和任务集范围;本文没有进行跨工具性能比较。此次结果支持的是基础操作与错误处理的判断,没有证明哪个浏览器智能体整体更强。