esp32-iphone-agent
活跃·★ 5.0k·MIT·更新于 2026-11-16
ESP32 iPhone Agent 是由 Henry Yuan 开源的软硬件一体化 iPhone 自动化智能体项目(遵循 MIT 协议)。它通过将一块仅需约 7 美元的 Seeed Studio XIAO ESP32-S3 开发板直接插入 iPhone 接口,将开发板模拟为原生 USB HID 鼠标键盘与 AirPlay 接收端,彻底摆脱了电脑主机依赖与 iOS 越狱限制。
该智能体的应用端直接运行在 iPhone 本机 App 中(支持 TestFlight 一键安装)。系统通过实时截取屏幕画面,交由前沿多模态视觉模型(如 Claude 3.5 Sonnet、GPT-4o 或 DeepSeek)识别界面元素坐标与交互意图,随后将点击、长按、滑动和键盘输入指令通过 USB HID 物理信号反馈给手机操作系统,实现与真人操作无异的应用控制。
这种创新的硬件挂载方案完美规避了 iOS 严格的应用沙箱限制,使得智能体能够无缝跨应用操作闹钟、即时通讯工具以及系统原生设置。需要权衡的是,用户需要自备并烧录 ESP32 硬件,正确开启 iOS 辅助触控配置,且整体操作节奏受多模态模型视觉解析与网络传输延迟制约。
#智能体框架#AI 智能体#AirPlay#自动化#计算机操作#DSH 插件#ESP32#ESP32-S3
01
功能特性
01通过 ESP32-S3 开发板接收 AirPlay 屏幕镜像。
02使用 USB HID 鼠标与键盘执行操作。
03提供 iPhone 应用、CLI 与 MCP 接入路径。
02
为什么选择它
+真正摆脱宿主电脑的独立移动端智能体,仅凭手机插上 7 美元 ESP32 硬件即可全自主运行。
+完全免越狱、无需企业开发者证书,通过硬件级 USB HID 物理协议模拟鼠标点击与键盘输入。
+具备真正的全局跨应用操作能力,可无缝调度系统原生应用、第三方社交软件及设置菜单。
+MIT 友好开源,提供免配环境的 Web Serial 固件烧录页面及 TestFlight 移动端体验包。
03
权衡点
!有硬件采购与上手门槛,必须自备 XIAO ESP32-S3 开发板并通过串口工具进行初次固件烧录。
!依赖开启 iOS 系统的辅助触控(AssistiveTouch)与指针设备设置,UI 界面常驻虚拟光标。
!单步操作延迟受多模态大模型视觉推理及屏幕抓取往返时间制约,无法执行毫秒级高速交互。
!外接 ESP32 硬件持续从手机接口取电运行,长时间执行复杂任务会导致手机电池电量消耗加快。
04
维护状况检查
活跃检查日期: 2026-11-12
- 最近提交
- 2026-11-10
- 近 90 天提交数
- 100+
- 近 90 天发布数
- 8
- 最新发布
- cli-v0.1.4 (2026-11-08)
- 未关闭 issue
- 24
- 近期 issue 至少有一条评论的比例
- 12/19
近 12 周每周提交数
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #115 iOS app: pointer / sensitivity calibration inaccurate — taps and draw strokes miss (fw 0.2.4, Export trace attached)3 条评论 · 2026-11-07
- #104 相对 HID 点击前校验指针落点,纠偏失败时停止点击3 条评论 · 2026-11-07
- #103 支持指定时长的 AI 长按与长按后拖拽3 条评论 · 2026-11-07
- #134 加入计划进度,避免 Jev 重复操作并减少主模型调用2 条评论 · 2026-11-09
- #106 iOS:模型任务结束后统一执行 reset,恢复自动化遗留的临时状态2 条评论 · 2026-11-07
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
05
兼容性
ios
iOS 18+ 应用
已通过文档验证
esp32
ESP32-S3 硬件
已通过文档验证
mcp
CLI MCP 接入
已通过文档验证
06
快速开始
1
$ npx -y esp32agent mcp
07
使用场景
↳在测试 iPhone 上运行视觉智能体任务。
↳从支持的编码智能体客户端驱动手机。
↳通过 ESP32 开发板验证实体设备自动化原型。
08
同类工具
评论
登录后发表评论
暂无评论,来发表第一条吧