AgentIndex icon
AgentIndex
工具MCP 服务HOT分类热门最新选型清单对比指南
提交工具
工具MCP 服务HOT分类热门最新选型清单对比指南
首页/
工作流自动化/
esp32-iphone-agent
esp32-iphone-agent logo

esp32-iphone-agent

活跃·★ 5.0k·MIT·更新于 2026-11-16

ESP32 iPhone Agent 是由 Henry Yuan 开源的软硬件一体化 iPhone 自动化智能体项目(遵循 MIT 协议)。它通过将一块仅需约 7 美元的 Seeed Studio XIAO ESP32-S3 开发板直接插入 iPhone 接口,将开发板模拟为原生 USB HID 鼠标键盘与 AirPlay 接收端,彻底摆脱了电脑主机依赖与 iOS 越狱限制。

该智能体的应用端直接运行在 iPhone 本机 App 中(支持 TestFlight 一键安装)。系统通过实时截取屏幕画面,交由前沿多模态视觉模型(如 Claude 3.5 Sonnet、GPT-4o 或 DeepSeek)识别界面元素坐标与交互意图,随后将点击、长按、滑动和键盘输入指令通过 USB HID 物理信号反馈给手机操作系统,实现与真人操作无异的应用控制。

这种创新的硬件挂载方案完美规避了 iOS 严格的应用沙箱限制,使得智能体能够无缝跨应用操作闹钟、即时通讯工具以及系统原生设置。需要权衡的是,用户需要自备并烧录 ESP32 硬件,正确开启 iOS 辅助触控配置,且整体操作节奏受多模态模型视觉解析与网络传输延迟制约。

本文根据项目 README 和公开仓库数据整理,我们没有实际试用过该工具。数据截至 2026-11-12。

许可证
MIT
最新发布
cli-v0.1.4 · 2026-11-08
最近提交
2026-11-11
贡献者
10
复刻数
661
未关闭的 issue 和 PR
24
首次发布
2026-10-11
npm 包
esp32agent 0.1.5 · 1,311 上周下载

来源:GitHub、npm 和 PyPI 的公开接口。

#智能体框架#AI 智能体#AirPlay#自动化#计算机操作#DSH 插件#ESP32#ESP32-S3
$ 安装
$ npx -y esp32agent mcp
↗ 访问官网★ GitHub
01

功能特性

01通过 ESP32-S3 开发板接收 AirPlay 屏幕镜像。
02使用 USB HID 鼠标与键盘执行操作。
03提供 iPhone 应用、CLI 与 MCP 接入路径。
02

为什么选择它

+真正摆脱宿主电脑的独立移动端智能体,仅凭手机插上 7 美元 ESP32 硬件即可全自主运行。
+完全免越狱、无需企业开发者证书,通过硬件级 USB HID 物理协议模拟鼠标点击与键盘输入。
+具备真正的全局跨应用操作能力,可无缝调度系统原生应用、第三方社交软件及设置菜单。
+MIT 友好开源,提供免配环境的 Web Serial 固件烧录页面及 TestFlight 移动端体验包。
03

权衡点

!有硬件采购与上手门槛,必须自备 XIAO ESP32-S3 开发板并通过串口工具进行初次固件烧录。
!依赖开启 iOS 系统的辅助触控(AssistiveTouch)与指针设备设置,UI 界面常驻虚拟光标。
!单步操作延迟受多模态大模型视觉推理及屏幕抓取往返时间制约,无法执行毫秒级高速交互。
!外接 ESP32 硬件持续从手机接口取电运行,长时间执行复杂任务会导致手机电池电量消耗加快。
04

维护状况检查

活跃检查日期: 2026-11-12
最近提交
2026-11-10
近 90 天提交数
100+
近 90 天发布数
8
最新发布
cli-v0.1.4 (2026-11-08)
未关闭 issue
24
近期 issue 至少有一条评论的比例
12/19
近 12 周每周提交数
近 12 周每周提交数: 0, 0, 0, 0, 0, 0, 0, 47, 27, 3, 80, 18

最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。

状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。

讨论最多的未关闭 issue

  • #115 iOS app: pointer / sensitivity calibration inaccurate — taps and draw strokes miss (fw 0.2.4, Export trace attached)3 条评论 · 2026-11-07
  • #104 相对 HID 点击前校验指针落点,纠偏失败时停止点击3 条评论 · 2026-11-07
  • #103 支持指定时长的 AI 长按与长按后拖拽3 条评论 · 2026-11-07
  • #134 加入计划进度,避免 Jev 重复操作并减少主模型调用2 条评论 · 2026-11-09
  • #106 iOS:模型任务结束后统一执行 reset,恢复自动化遗留的临时状态2 条评论 · 2026-11-07

issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。

05

兼容性

ios
iOS 18+ 应用
已通过文档验证
esp32
ESP32-S3 硬件
已通过文档验证
mcp
CLI MCP 接入
已通过文档验证
06

快速开始

1
$ npx -y esp32agent mcp
07

使用场景

↳在测试 iPhone 上运行视觉智能体任务。
↳从支持的编码智能体客户端驱动手机。
↳通过 ESP32 开发板验证实体设备自动化原型。
08

同类工具

⚡热门对决:
VSnod★2.3k→VSMika★9.0k→VSAnyModelBot★4.4k→VScapri-ai-desktop★1.7k→
nod logo
nod★ 2.3k
由 n8n 开源的本地个人智能体,通过独立电脑和浏览器处理日常事务并在代用户行动前请求批准。
VS对比→
Mika logo
Mika★ 9.0k
安卓手机上的私人 AI 助理,在看不见的后台屏上替你操作 App、浏览网页、在本地沙箱运行脚本,自带模型密钥,无需中转服务器。
VS对比→
AnyModelBot logo
AnyModelBot★ 4.4k
运行在本机、支持多个模型和消息渠道的 AI 机器人团队应用。
VS对比→
capri-ai-desktop logo
capri-ai-desktop★ 1.7k
面向 Windows 的赛博朋克风格桌面 AI 助手,支持语音互动、模型接入与经批准的桌面操作。
VS对比→
clawdcursor logo
clawdcursor★ 406
一个本地MCP服务器,让任何AI代理安全地控制桌面。
Touchpoint logo
Touchpoint★ 48
Touchpoint 是一个跨平台的 Python 库,通过原生无障碍 API 让 AI 代理能够读取和操作桌面用户界面。
VS对比→
hermes-agent logo
hermes-agent★ 264.2k
Nous Research 出品的自我改进型 AI 智能体:内置学习循环,从经验中创建并改进技能,跨会话记忆用户,可在 VPS、GPU 集群或无服务器环境运行
VS对比→
nocobase logo
nocobase★ 25.0k
开源的 AI + 无代码平台,用于快速搭建业务系统;编码智能体通过 CLI 和技能构建,人通过所见即所得界面配置,两者可协作。
VS对比→
查看全部替代品 →

评论

登录后发表评论

暂无评论,来发表第一条吧

本页内容
01功能特性02为什么选择它03权衡点04维护状况检查05兼容性06快速开始07使用场景08同类工具
onehumanbeing /
esp32-iphone-agent
↗

基于 7 美元 ESP32-S3 硬件直连的 iPhone 智能体,免越狱实现物理级屏幕点击与滑动自动化

5.0k661MIT
最后更新2天前
状态活跃
分类工作流自动化
贡献者10
最新发布cli-v0.1.4
链接
文档↗讨论↗问题↗版本↗
推荐云部署
Ad

在 DigitalOcean 上一键部署

为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。

立即领取 $200 免费额度
© 2026 AgentIndex.app|由十年 iOS 开发者构建。
按场景挑选关于我们联系我们广告合作隐私政策使用条款QYSGitHub请作者喝咖啡 ☕

按分类浏览

MCP 服务器代码助手工作流自动化RAG / 知识库多智能体浏览器自动化大模型基础设施开发者工具可观测性

与 Anthropic, OpenAI 或 Microsoft 无关。