CLIPPINGS · 剪报

LJY

剪报

个人刊物 ↗
精读
开源项目

iPhone Use:让 Codex 通过 USB 操作真实 iPhone 的 MCP 插件

题为编者所加

新颖证据可用

iPhone Use 借 WebDriverAgent 让 Codex 等经 USB 操作真机 iPhone,18 个工具,免越狱。

批注我觉得最值得抄的是失败语义:动作超时就标记不确定,先读实际状态再决定,避免盲目重放点击和提交。

它解决什么

让本机的 Codex 用自然语言操作一部 USB 连接的真实 iPhone,打开 App、读页面、点击、滚动、输入中文,并在侧边栏实时显示手机画面。手机端跑 Appium 维护的 WebDriverAgent(WDA),电脑端是 Python 写的本地 MCP 服务。和直接用 Appium 写脚本相比,它把 WDA 的签名、构建、启动交给 iphone-use-setup 技能引导完成,也不用单独启动 Appium Server。

能力和边界

  • 读页面:精简控件树,默认最多返回 200 个节点;只需截图时不生成 XML。
  • 组合动作:pua_batch 把点击、输入、等待合成一次调用,pua_scroll_find、pua_collect_list 做有界滚动查找和列表去重采集,减少模型往返。
  • 截图回退:控件定位失败时返回截图,模型把像素乘以 image.pixel_to_point 换成点坐标再调用 pua_tap。
  • 明确不做:输入和提交分开,默认不提交;密码、验证码、Face ID 交给用户;Apple 登录、设备信任、开发者模式要本人在系统界面完成。README 也说明完整任务速度仍取决于 App、USB 和 WDA 状态以及模型响应。

健康度

  • 创建于 2026-10-06,最近提交 2026-10-16,最新版本 v0.3.15(2026-10-16),10 天内从 0.3.x 连续发版。
  • MIT 许可证,未归档,433 个 fork,25 个未关闭 issue。
  • 贡献集中度:前 1 名贡献者约占 87%。
  • Codex 版默认向 PostHog 和 GA4 发送匿名使用统计,设 IPHONE_USE_ANALYTICS=0 或 DO_NOT_TRACK=1 可关;WorkBuddy 和豆包适配版默认关闭。

上手成本

需要 macOS、完整 Xcode(只有 Command Line Tools 不够)、能签名的 Apple 开发团队、Python 3.9+、Node.js 20.19+ 和 npm 10+,以及一部保持解锁的 USB iPhone。README 给了现成的安装提示词,Codex 版跑 sh scripts/install.sh,WorkBuddy 和豆包各有 install.py。WDA 固定在已验证的 16.14.0 提交,首次签名要用自己的账号,不能照搬作者的设备标识。

LJY · 剪报 · 回到个人刊物 →摘要和评分是我的读后感,原文版权归作者;需要删除请写信 lijunyu2726@gmail.com鲁ICP备2026056774号-1鲁公网安备37021102001801号