RecodeX 重构消息,开发者Henry开源了ESP32 iPhone Agent项目,使用一块约40至50元的XIAO ESP32S3开发板配合手机App,即可让AI操作真实iPhone,实现打开应用、点击按钮和滑动屏幕,无需越狱,也不依赖苹果XCTest测试权限。
其原理是ESP32自建Wi-Fi热点充当AirPlay投屏接收器,iPhone将屏幕画面投给开发板,开发板不解码,而是通过蓝牙把压缩视频传回同一部手机上的Agent App;App调用视觉模型识别界面并决定下一步,再经蓝牙指令让ESP32模拟USB鼠标和键盘操作手机,系统还会自动校准指针位置。
该方案无需NanoKVM Go等专用视频采集硬件,模型推理依赖外部API或自建服务器。受蓝牙带宽限制,回传画面为480×1040分辨率、最高每秒5帧,每步操作通常需数秒,触控坐标仅适配竖屏,键盘输入仅支持ASCII字符,锁屏后无法继续投屏。