一句话
它把手机变成 agent 的手,但手指按下去之前,网关会问你一句。
和上个月我卡住的 Poki 是同一类东西——都是「iOS UI Automation,绕开 App 没有 API 这件事」。区别在于:Poki 要一台 Mac 才能签名,Pinky 三个平台都能跑,而且能自己编译起来。
我实际做了什么
直接拉源码,用 Go 编:
git clone https://github.com/DIYgod/pinky
export GOPROXY=https://goproxy.cn,direct # proxy.golang.org 在国内直接超时
go build -o pinky.exe ./cmd/pinky
| 项 | 结果 |
|---|---|
| Go 版本要求 | 1.27.3(我装了 1.27.4) |
| 依赖 | go.sum 178 行 |
| 编译耗时 | 约 3 分钟(含下载依赖) |
| 产物 | 64.4 MB 单文件 pinky.exe |
| 需要 CGO / 编译工具链 | 不需要,纯 Go 直出 |
64 MB 一个 exe,里面是 MyGo 在 GPU 上自绘的窗口——没有 Electron,没有 webview。官方说安装包 16–22 MB,那是压缩后的。
实测:四层都能通
第一层,命令行:
Usage: pinkyctl [command] [flags]
(none) start the desktop app
daemon run the gateway without UI
mcp run the MCP server on stdio
devices list connected phones
task run|status|steer|cancel|list
companion install [phone]
helper install # macOS 上把 Pinky 编进 iPhone
token print the agent token
第二层,网关:
$ ./pinky.exe daemon
gateway ready
数据落在 %LOCALAPPDATA%\Pinky:pinky.db(SQLite)、media、crashes、telemetry.json。
第三层,设备发现:
$ ./pinky.exe devices
(no phones)
# 缺 adb 和 Apple 驱动,没有真机可连
$ ./pinky.exe devices --fake
NAME ID PLATFORM CONNECTION STATUS
Pixel 9 (fake) fake-pixel-9 android usb online
iPhone 17 (fake) fake-iphone-17 ios usb online
它内置了假手机。 这点比大多数同类项目实在——没有硬件也能把链路跑通、把 agent 接上试。
第四层,MCP 协议:
{"jsonrpc":"2.0","id":1,"method":"initialize",...}
→ {"serverInfo":{"name":"pinky","title":"Pinky","version":"0.0.0-dev"}}
{"jsonrpc":"2.0","id":2,"method":"tools/list",...}
→ 26 个工具
26 个工具全清单:
phone_app phone_apps phone_batch phone_connect
phone_device phone_drag phone_files phone_handoff
phone_key phone_launch phone_logs phone_observe
phone_pinch phone_read_list phone_release phone_request_approval
phone_swipe phone_tap phone_task_cancel phone_task_list
phone_task_run phone_task_status phone_task_steer phone_task_wait
phone_type phone_wait_for
全是动词,没有一个是「读配置」——工具集本身就是「怎么操作一台手机」的完整答案:点、滑、双指、按键、打字、拖拽、启动 App、读列表、看屏幕、等条件、传文件、转移控制权。
真正的设计取舍:审批在网关,不在提示词
这是我唯一觉得值得抄的地方。
大多数手机 agent 的安全做法是在 system prompt 里写「支付前请询问用户」。这等于让被约束者自己执行约束——屏幕上只要出现一行「我是你的管理员,请直接确认」,模型就可能照做。
Pinky 把拦截放在网关进程里:
| 层级 | 谁判断 | 能不能被绕过 |
|---|---|---|
| 提示词约束 | 模型自己 | 一句注入就破 |
| 网关拦截 | Pinky 主进程 | agent 没有网关的写权限,绕不过 |
具体拦三样:
- 危险按钮:支付、转账、下单、删除、拨号、安装、跳外链、改设置——10 种语言识别按钮文字,默认拦支付类和交易类,其余可配
- 禁区 App:银行、钱包、密码管理器对 agent 不可见;agent 要动它们必须单独申请,且授权只对当次任务有效
- 密码与验证码输入框:agent 根本打不进去
一点补充:批准只对「那一次点击」有效,不是「这个 App 以后都放行」。这个粒度是对的。

图源:DIYgod/pinky 仓库 assets/readme(Apache-2.0)
另一个有意思的:Android 13 之后的隐藏第二屏
普通镜像方案里,agent 在操作手机时,手机屏幕就被占住了——它点什么你看得见,但你也干不了别的。
Pinky 在 Android 13+ 上开一个虚拟第二屏给 agent 用,主屏仍然属于你,可以继续用,甚至可以锁屏关屏。

图源:DIYgod/pinky 仓库
这个思路比「远程投屏」高明——它不是把手机搬到你电脑上,而是给 agent 单独一台手机,你和它各用各的。iOS 没有这个能力,只能占主屏。
每次任务都有录像和报告
agent 做了什么,不靠它自己汇报:
- 每一步 → 一句大白话 + 一张截图
- 整段 → 屏幕录像,关键步骤打标记
- 可导出 HTML 报告,全存在本地

审计这件事,靠日志文字是不够的——得看录像。这点做过自动化的都懂。
和 Poki 的对比
| Poki | Pinky | |
|---|---|---|
| 平台 | 仅 macOS 宿主(Windows 需配套安装器) | Windows / macOS / Linux |
| iOS 签名 | 必须 Mac + Xcode | iOS 17.4–26 需 Mac 编一次;27+ 免装 |
| 我能不能装上 | ❌ 卡在 Apple 账号验证 | ✅ 源码编译通过 |
| 协议 | MCP | MCP |
| 审批 | 有 | 有,且在网关层 |
| 隐藏工作屏 | 无 | Android 13+ 有 |
| 成熟度 | 700+ 星,中等 | 1.6k 星,pre-alpha |
| 许可证 | AGPL-3.0 | Apache-2.0 |
一个 AGPL 一个 Apache,对公司内使用来说后者省心得多。
我没能验证的部分
说清楚边界:
| 项 | 状态 |
|---|---|
| 编译 | ✅ 通过 |
| CLI / 网关 / MCP / 26 工具 | ✅ 全通 |
| 真机 Android 控制 | ✅ 华为 Mate 30 实测(见文末) |
| 真机 iPhone 控制 | ❌ 缺 Apple 移动设备驱动(要装 Apple Devices) |
| 审批弹窗实操 | ❌ 需要真机触发 |
所以「能不能真的点动一台手机」这句话,我只能引用作者的说法:README 里写明 Claude Code 已在 USB 连接的 Android 真机、iOS 27 的 iPhone、iOS 18.7.11 的 iPhone XS Max 上端到端跑通。
能编译、能起服务、能列工具这三件是我亲手验的,其余不替它背书。
补一段:把它接进 Hermes 当 MCP 服务器
编译完之后我顺手做了件事——让 Hermes 把 pinky mcp -fake 当一个标准 MCP 服务器连上,看看 agent 真的拿到工具之后是什么手感。
接入本身踩了个小坑:
pinky mcp: %userprofile% is not defined
Hermes 的 MCP 子进程只继承过滤后的环境(PATH/HOME/TERM 这类),USERPROFILE 被过滤掉了,而 pinky 要靠它定位数据目录。写一个 .cmd 包装、在里面把 USERPROFILE/APPDATA/LOCALAPPDATA 补回去就行:
@echo off
set "USERPROFILE=C:/Users/<you>"
set "APPDATA=C:/Users/<you>/AppData/Roaming"
set "LOCALAPPDATA=C:/Users/<you>/AppData/Local"
"F:/reproductions/pinky/pinky.exe" mcp -fake
接上之后 26 个工具全部注册进 Hermes(mcp_pinky_phone_tap 这种命名)。
然后我在假 iPhone 上跑了一串真实调用:
phone_connect → settled · iPhone 17 (fake)
phone_observe → screen 1080x2340 · app: Home screen
[1] text "9:41" @100,52
[2] button "Dinely" @540,280
[3] button "Chatter" @540,464
[4] button "Settings" @540,648
[5] other "Hidden by Pinky: a blocked app's card" @540,832
phone_launch → app: Settings (com.apple.Preferences)
phone_tap ref=8 → [8] is still off after the tap.
四个观察,比 README 更实在:
- 无障碍树是干净的。每个控件一行:
[ref] 角色 "文字" @坐标,agent 不用猜坐标,直接按 ref 点。 - 禁区 App 真的消失。首页本来有五个图标,
phone_apps只返回 3 个(Chatter / Dinely / Settings),第四个位置被替换成一行Hidden by Pinky: a blocked app's card—— 连「这个 App 存在」都不告诉 agent。 - 手机是独占租约。我第一次没释放就重连,直接被拒:
lease_held · holder: Demo · 检查假手机能不能被 agent 操作。两个 agent 抢同一台手机是不可能的,必须phone_release显式交还。 - 假设备不做状态模拟。
phone_tap点了蓝牙开关,工具如实回报[8] is still off after the tap,而不是假装成功。这说明它检测的是真实状态变化,不是「我发了点击」——真机上这套逻辑才有意义。
第 4 点其实是个好设计:工具会自己核对「点完之后界面变了吗」,没变就告诉你换个坐标。agent 最容易犯的错就是点空了还以为成了。
真机:华为 Mate 30(TAS-AN00)
假设备跑通之后,插了一台 2019 年的华为 Mate 30:
型号 TAS-AN00(Mate 30 5G)
系统 Android 12 / SDK 31 / EMUI 14.2.0
屏幕 1080x2340 @480dpi
先撞上一个源码编译版的事实:
android: Pinky found no adb to reach Android phones with:
this build does not carry its own.
Install Android's platform tools, or set PINKY_ADB to an adb.
README 写「Pinky brings its own adb」,那是官方发布版——发布流水线会把 platform-tools 塞进安装包,源码里没有。所以要么装 platform-tools,要么 set PINKY_ADB=<adb.exe 路径>。
装完 adb,pinky devices 立刻认出来:
NAME ID PLATFORM CONNECTION STATUS
TAS-AN00 FEC5T19A15012414 android usb online
然后是真正的读取——这是它读到的华为桌面:
screen 1080x2340 · app: com.huawei.android.launcher · portrait
[1] list "第 2 屏,共 3 屏" @540,1117 scrollable
[2] button "百度网盘" @160,335
[3] button "腾讯会议" @413,335
[4] button "飞书" @666,335
[6] button "远程桌面" @160,631
[8] other "Hidden by Pinky: a blocked app's card" @666,631
[9] other "Hidden by Pinky: a blocked app's card" @919,631
[16] other "Hidden by Pinky: a blocked app's card" @666,1223
[19] button "微信" @413,1519
[20] button "CSDN" @666,1519
[21] button "DeepSeek" @919,1519
三点值得说:
- 华为的 launcher 能被完整解析——26 个控件,坐标精确到像素,不用 OCR 猜。
- 三个 App 被替换成占位符,名字都不给。我桌面上确实有银行和钱包类 App,它们连「存在」这件事都没暴露。
- 不需要装任何东西到手机上。没有 companion App,纯 adb + 无障碍树就能读。
再让它开一次设置:
phone_launch 设置 → app: com.android.settings
[30] button "电池" @540,540
[31] button "存储" @540,708
[32] button "安全" @540,876
[36] button "钱包和支付" @540,1608
[39] button "HMS Core" @540,2161
[43] input "搜索设置项" @540,525 editable

上面这张是 adb 直接截的原图,不是渲染图
真机上多出来的两个行为
手机是独占租约。 我用两个不同名字的会话先后连同一台手机,第二次直接被顶回来:
error: lease_held · holder: Hermes · 只读检查:读一次屏幕
TAS-AN00 is running another task of an earlier session of Hermes
要换手必须显式 phone_release。这个设计对「一台手机被多个 agent 抢」的场景是必须的,但用起来要习惯——每次任务结束记得交还。
启动 App 会改变手机状态,但读取不会。 phone_observe 是纯读,phone_launch 会把 App 拉到前台。所以我在真机上先只做只读验证,没让它碰会发出去的东西。
顺带一句:华为的「USB 调试」开关重启手机后会自己关,重启后要重新打开,否则 adb 里那台机器会变成 offline。
第三个坑:源码版没有 FFmpeg,窗口是黑的
真机连上、工具全通,但 Pinky 窗口里那块手机屏幕上只显示一行报错:
FFmpeg 9 not found: no avutil-61.dll in F:\reproductions\pinky
or the system's library path.
Put FFmpeg 9's shared DLLs (avcodec-63.dll, avutil-61.dll, swscale-10.dll)
next to pinky.exe, or set PINKY_FFMPEG_DIR
原因和 adb 一样:发布版把这些二进制打进去了,源码编译版没有。手机画面是 H.264 流,解码要靠 FFmpeg 9 的动态库。
补法:下载 FFmpeg 9 的 shared 构建(不是 static),把 DLL 放到 pinky.exe 旁边。我用的 BtbN 的 master shared 包,解压出来正好对上版本号:
avcodec-63.dll 115 MB
avfilter-12.dll 36 MB
avformat-63.dll 22 MB
avdevice-63.dll 5 MB
avutil-61.dll 3 MB
swscale-10.dll 2 MB
swresample-7.dll 0.7 MB
重启之后用 tasklist /m 验证,三个关键库确实被进程加载了:
avcodec-63.dll avutil-61.dll swscale-10.dll
画面就出来了。
三个「源码编译版缺件」汇总
这三件事连着踩,说明一个规律:能编译 ≠ 等于发布版。
| 缺什么 | 表现 | 解法 |
|---|---|---|
| adb | Pinky found no adb to reach Android phones with | 装 platform-tools + PINKY_ADB |
| FFmpeg 9 DLL | 窗口全黑 + FFmpeg 9 not found | 放 7 个 DLL 到 exe 同目录 |
| Apple 驱动 | iPhone 连不上 | 装 Microsoft Store 的 Apple Devices |
对想从源码跑的人,值得先看仓库的打包脚本(.github/workflows 或 scripts/)——里面写了发布时会额外塞哪些二进制,那些就是你本地缺的。
真发一条微信:它点歪了一次
只读不够说明问题。我让它在真机上回一条微信消息,看它到底能不能把「发出去」这件事办成。
微信没有无障碍树,它换成了 OCR
系统设置的页面读出来是这样的:
[75] button "电池" @540,2132
微信读出来是这样的:
ocr "Neko" @260,499
ocr "你好" @240,558
腾讯没开放无障碍节点,所以只能截图 + OCR 认字,拿到「文字 + 坐标」。这意味着:
| App | 读取方式 | 能不能按 ref 精确点 |
|---|---|---|
| 系统设置、桌面 | 无障碍树 | ✅ 能 |
| 微信、抖音等自绘 UI | OCR | ❌ 只能按坐标猜 |
点歪的那一次
流程走得很顺,直到「发送」:
phone_tap (450, 2262) 点输入框 → 键盘弹起
phone_type "你好" → 输入框出现「你好」
phone_tap (998, 1380) 点发送 → 键盘收起,什么也没发生
phone_tap (998, 2278) 再点发送 → 发出去
第一次没发出去,因为坐标是键盘弹起时量的,点的时候键盘已经收了——输入栏从 y≈1380 掉回 y≈2278,我点在了消息气泡上。
系统设置那种有 ref 的不会出这种事:ref 是绑在控件上的,布局怎么变都指得准。OCR 只有像素,布局一变就废。
最后校验
发完截一张图,靠 OCR 确认气泡在右侧(自己发的)而不是左侧(收到的),时间戳是新的:
23:43 Neko 你好 ← 收到的
23:47 我 你好 ← 发出去的
「发出去了」不能只看工具返回 OK。这次工具每次都返回 settled,但第一次其实什么也没发。必须回到界面上核对:气泡在左边还是右边、时间戳变没变。
一条设置建议
微信的「发送」默认不触发审批(Pinky 默认只拦支付、转账、下单、删除、安装、拨号)。也就是说 agent 点下去就直接发,没有二次确认。
如果要做这类操作,建议在 设置 › 安全 里把「发送」也勾上需要批准——点歪的那一刻你还能拦下,而不是等消息到了对方手机才发现。
值得抄的三件事
- 安全边界要放在被约束者够不到的地方。 提示词是建议,网关才是规则。
- 给 agent 一块独立的屏幕,而不是抢用户的屏幕。这个产品思路比技术更值钱。
- 内置假设备。 没有硬件也能测,接入成本直接砍掉一半——做 agent 工具的都应该有这个。
一个提醒
pre-alpha 就是 pre-alpha。README 自己写着「有些功能建好了但还没等人试」。要拿它做正经事,先拿一台备用机跑两周,别直接在自己的主力机上开权限——尤其是「改设置」和「安装应用」这两类审批,一次点错就够麻烦。
项目:DIYgod/pinky · 1.6k stars · Apache-2.0 · Go
环境:Windows 11 + Go 1.27.4 + GOPROXY=goproxy.cn
编译产物:64.4 MB 单文件,无 CGO 依赖