Codex现在,真能操作你的iPhone手机了。
现在,Codex不只能在电脑里写代码,它已经可以看懂你的iPhone屏幕,自己打开App、点击按钮、输入文字,还会在操作后重新检查有没有成功。
Codex现在,真能操作你的iPhone手机了。
现在你可以一句话,让它自己打开软件、叫车、买咖啡等等。做到这件事,依托了一个叫做phone-harness的开源项目。它的目标很简单,让Claude Code、Codex这类AI智能体,可以像人一样真实操作iPhone手机,并且不需要App开放接口,不需要iOS越狱,不用安装任何额外的测试组件。
在过去,想让AI操作手机,通常有两条路。一条是等App开放API,但大量iOS App根本没有给普通用户调用的接口。另一条是走专门的测试框架,配置证书、开发环境和自动化工具,光安装这一个步骤,就能把普通用户劝退。phone-harness这次换了一个很聪明的思路,既然苹果已经允许人在Mac上通过「iPhone镜像」操作手机,那就让AI直接接管这个窗口。
听着有点唬人对吧?但其实吧,它就做三件事。
第一步是「看」。当手机和Mac建立连接后,它会截取Mac上的iPhone镜像窗口,再调用苹果自带的Vision文字识别能力,读出屏幕上有哪些文字,以及每段文字对应的坐标,AI就像拿到了一张简化的页面地图。
第二步是「动」。AI会根据刚刚拿到的地图,计算坐标,模拟鼠标和键盘操作,把点击、长按、滑动和文字输入,通过iPhone镜像传到真实手机上。