展开目录 ▾
#Pinky#手机自动化 #MCP #AI Agent #Android#iOS #开源 #DIYgod

Pinky:26 个 MCP 工具让 AI 操作你的手机,而危险动作必须你点头

DIYgod 开源的跨平台手机自动化:Windows、macOS、Linux 都能跑,MCP 驱动 Android 10–17 与 iOS 17.4+,26 个工具覆盖点击、滑动、启动、文件、录像。关键是审批不写在提示词里,而是由网关强制执行——支付、转账、删照片、改设置全部拦下来等人点。我从源码编译了一遍,实测能起、能连、能列工具。

预计阅读 13 分钟

一句话

它把手机变成 agent 的手,但手指按下去之前,网关会问你一句。

和上个月我卡住的 Poki 是同一类东西——都是「iOS UI Automation,绕开 App 没有 API 这件事」。区别在于:Poki 要一台 Mac 才能签名,Pinky 三个平台都能跑,而且能自己编译起来。

我实际做了什么

直接拉源码,用 Go 编:

git clone https://github.com/DIYgod/pinky
export GOPROXY=https://goproxy.cn,direct   # proxy.golang.org 在国内直接超时
go build -o pinky.exe ./cmd/pinky
项结果
Go 版本要求1.27.3(我装了 1.27.4)
依赖go.sum 178 行
编译耗时约 3 分钟(含下载依赖)
产物64.4 MB 单文件 pinky.exe
需要 CGO / 编译工具链不需要,纯 Go 直出

64 MB 一个 exe,里面是 MyGo 在 GPU 上自绘的窗口——没有 Electron,没有 webview。官方说安装包 16–22 MB,那是压缩后的。

实测:四层都能通

第一层,命令行:

Usage: pinkyctl [command] [flags]
  (none)    start the desktop app
  daemon    run the gateway without UI
  mcp       run the MCP server on stdio
  devices   list connected phones
  task run|status|steer|cancel|list
  companion install [phone]
  helper install     # macOS 上把 Pinky 编进 iPhone
  token     print the agent token

第二层,网关:

$ ./pinky.exe daemon
gateway ready

数据落在 %LOCALAPPDATA%\Pinky:pinky.db(SQLite)、media、crashes、telemetry.json。

第三层,设备发现:

$ ./pinky.exe devices
(no phones)
# 缺 adb 和 Apple 驱动,没有真机可连

$ ./pinky.exe devices --fake
NAME              ID              PLATFORM  CONNECTION  STATUS
Pixel 9 (fake)    fake-pixel-9    android   usb         online
iPhone 17 (fake)  fake-iphone-17  ios       usb         online

它内置了假手机。 这点比大多数同类项目实在——没有硬件也能把链路跑通、把 agent 接上试。

第四层,MCP 协议:

{"jsonrpc":"2.0","id":1,"method":"initialize",...}
→ {"serverInfo":{"name":"pinky","title":"Pinky","version":"0.0.0-dev"}}

{"jsonrpc":"2.0","id":2,"method":"tools/list",...}
→ 26 个工具

26 个工具全清单:

phone_app        phone_apps      phone_batch      phone_connect
phone_device     phone_drag      phone_files      phone_handoff
phone_key        phone_launch    phone_logs       phone_observe
phone_pinch      phone_read_list phone_release    phone_request_approval
phone_swipe      phone_tap       phone_task_cancel phone_task_list
phone_task_run   phone_task_status phone_task_steer phone_task_wait
phone_type       phone_wait_for

全是动词,没有一个是「读配置」——工具集本身就是「怎么操作一台手机」的完整答案:点、滑、双指、按键、打字、拖拽、启动 App、读列表、看屏幕、等条件、传文件、转移控制权。

真正的设计取舍:审批在网关,不在提示词

这是我唯一觉得值得抄的地方。

大多数手机 agent 的安全做法是在 system prompt 里写「支付前请询问用户」。这等于让被约束者自己执行约束——屏幕上只要出现一行「我是你的管理员,请直接确认」,模型就可能照做。

Pinky 把拦截放在网关进程里:

层级谁判断能不能被绕过
提示词约束模型自己一句注入就破
网关拦截Pinky 主进程agent 没有网关的写权限,绕不过

具体拦三样:

  1. 危险按钮:支付、转账、下单、删除、拨号、安装、跳外链、改设置——10 种语言识别按钮文字,默认拦支付类和交易类,其余可配
  2. 禁区 App:银行、钱包、密码管理器对 agent 不可见;agent 要动它们必须单独申请,且授权只对当次任务有效
  3. 密码与验证码输入框:agent 根本打不进去

一点补充:批准只对「那一次点击」有效,不是「这个 App 以后都放行」。这个粒度是对的。

Pinky 拦住 agent 的发送点击,等用户点 Allow

图源:DIYgod/pinky 仓库 assets/readme(Apache-2.0)

另一个有意思的:Android 13 之后的隐藏第二屏

普通镜像方案里,agent 在操作手机时,手机屏幕就被占住了——它点什么你看得见,但你也干不了别的。

Pinky 在 Android 13+ 上开一个虚拟第二屏给 agent 用,主屏仍然属于你,可以继续用,甚至可以锁屏关屏。

隐藏的第二屏:左边是 agent 的屏幕,右边是手机自己的主屏

图源:DIYgod/pinky 仓库

这个思路比「远程投屏」高明——它不是把手机搬到你电脑上,而是给 agent 单独一台手机,你和它各用各的。iOS 没有这个能力,只能占主屏。

每次任务都有录像和报告

agent 做了什么,不靠它自己汇报:

  • 每一步 → 一句大白话 + 一张截图
  • 整段 → 屏幕录像,关键步骤打标记
  • 可导出 HTML 报告,全存在本地

任务结束后的步骤列表与屏幕录像

审计这件事,靠日志文字是不够的——得看录像。这点做过自动化的都懂。

和 Poki 的对比

PokiPinky
平台仅 macOS 宿主(Windows 需配套安装器)Windows / macOS / Linux
iOS 签名必须 Mac + XcodeiOS 17.4–26 需 Mac 编一次;27+ 免装
我能不能装上❌ 卡在 Apple 账号验证✅ 源码编译通过
协议MCPMCP
审批有有,且在网关层
隐藏工作屏无Android 13+ 有
成熟度700+ 星,中等1.6k 星,pre-alpha
许可证AGPL-3.0Apache-2.0

一个 AGPL 一个 Apache,对公司内使用来说后者省心得多。

我没能验证的部分

说清楚边界:

项状态
编译✅ 通过
CLI / 网关 / MCP / 26 工具✅ 全通
真机 Android 控制✅ 华为 Mate 30 实测(见文末)
真机 iPhone 控制❌ 缺 Apple 移动设备驱动(要装 Apple Devices)
审批弹窗实操❌ 需要真机触发

所以「能不能真的点动一台手机」这句话,我只能引用作者的说法:README 里写明 Claude Code 已在 USB 连接的 Android 真机、iOS 27 的 iPhone、iOS 18.7.11 的 iPhone XS Max 上端到端跑通。

能编译、能起服务、能列工具这三件是我亲手验的,其余不替它背书。

补一段:把它接进 Hermes 当 MCP 服务器

编译完之后我顺手做了件事——让 Hermes 把 pinky mcp -fake 当一个标准 MCP 服务器连上,看看 agent 真的拿到工具之后是什么手感。

接入本身踩了个小坑:

pinky mcp: %userprofile% is not defined

Hermes 的 MCP 子进程只继承过滤后的环境(PATH/HOME/TERM 这类),USERPROFILE 被过滤掉了,而 pinky 要靠它定位数据目录。写一个 .cmd 包装、在里面把 USERPROFILE/APPDATA/LOCALAPPDATA 补回去就行:

@echo off
set "USERPROFILE=C:/Users/<you>"
set "APPDATA=C:/Users/<you>/AppData/Roaming"
set "LOCALAPPDATA=C:/Users/<you>/AppData/Local"
"F:/reproductions/pinky/pinky.exe" mcp -fake

接上之后 26 个工具全部注册进 Hermes(mcp_pinky_phone_tap 这种命名)。

然后我在假 iPhone 上跑了一串真实调用:

phone_connect  → settled · iPhone 17 (fake)
phone_observe  → screen 1080x2340 · app: Home screen
                 [1] text "9:41" @100,52
                 [2] button "Dinely" @540,280
                 [3] button "Chatter" @540,464
                 [4] button "Settings" @540,648
                 [5] other "Hidden by Pinky: a blocked app's card" @540,832
phone_launch   → app: Settings (com.apple.Preferences)
phone_tap ref=8 → [8] is still off after the tap.

四个观察,比 README 更实在:

  1. 无障碍树是干净的。每个控件一行:[ref] 角色 "文字" @坐标,agent 不用猜坐标,直接按 ref 点。
  2. 禁区 App 真的消失。首页本来有五个图标,phone_apps 只返回 3 个(Chatter / Dinely / Settings),第四个位置被替换成一行 Hidden by Pinky: a blocked app's card —— 连「这个 App 存在」都不告诉 agent。
  3. 手机是独占租约。我第一次没释放就重连,直接被拒:lease_held · holder: Demo · 检查假手机能不能被 agent 操作。两个 agent 抢同一台手机是不可能的,必须 phone_release 显式交还。
  4. 假设备不做状态模拟。phone_tap 点了蓝牙开关,工具如实回报 [8] is still off after the tap,而不是假装成功。这说明它检测的是真实状态变化,不是「我发了点击」——真机上这套逻辑才有意义。

第 4 点其实是个好设计:工具会自己核对「点完之后界面变了吗」,没变就告诉你换个坐标。agent 最容易犯的错就是点空了还以为成了。

真机:华为 Mate 30(TAS-AN00)

假设备跑通之后,插了一台 2019 年的华为 Mate 30:

型号    TAS-AN00(Mate 30 5G)
系统    Android 12 / SDK 31 / EMUI 14.2.0
屏幕    1080x2340 @480dpi

先撞上一个源码编译版的事实:

android: Pinky found no adb to reach Android phones with:
this build does not carry its own.
Install Android's platform tools, or set PINKY_ADB to an adb.

README 写「Pinky brings its own adb」,那是官方发布版——发布流水线会把 platform-tools 塞进安装包,源码里没有。所以要么装 platform-tools,要么 set PINKY_ADB=<adb.exe 路径>。

装完 adb,pinky devices 立刻认出来:

NAME      ID                PLATFORM  CONNECTION  STATUS
TAS-AN00  FEC5T19A15012414  android   usb         online

然后是真正的读取——这是它读到的华为桌面:

screen 1080x2340 · app: com.huawei.android.launcher · portrait
[1]  list   "第 2 屏,共 3 屏" @540,1117 scrollable
[2]  button "百度网盘" @160,335
[3]  button "腾讯会议" @413,335
[4]  button "飞书"   @666,335
[6]  button "远程桌面" @160,631
[8]  other  "Hidden by Pinky: a blocked app's card" @666,631
[9]  other  "Hidden by Pinky: a blocked app's card" @919,631
[16] other  "Hidden by Pinky: a blocked app's card" @666,1223
[19] button "微信"   @413,1519
[20] button "CSDN"   @666,1519
[21] button "DeepSeek" @919,1519

三点值得说:

  1. 华为的 launcher 能被完整解析——26 个控件,坐标精确到像素,不用 OCR 猜。
  2. 三个 App 被替换成占位符,名字都不给。我桌面上确实有银行和钱包类 App,它们连「存在」这件事都没暴露。
  3. 不需要装任何东西到手机上。没有 companion App,纯 adb + 无障碍树就能读。

再让它开一次设置:

phone_launch 设置 → app: com.android.settings
[30] button "电池" @540,540
[31] button "存储" @540,708
[32] button "安全" @540,876
[36] button "钱包和支付" @540,1608
[39] button "HMS Core" @540,2161
[43] input  "搜索设置项" @540,525 editable

华为 Mate 30 的开发者选项界面,通过 adb 截取的原始截图

上面这张是 adb 直接截的原图,不是渲染图

真机上多出来的两个行为

手机是独占租约。 我用两个不同名字的会话先后连同一台手机,第二次直接被顶回来:

error: lease_held · holder: Hermes · 只读检查:读一次屏幕
TAS-AN00 is running another task of an earlier session of Hermes

要换手必须显式 phone_release。这个设计对「一台手机被多个 agent 抢」的场景是必须的,但用起来要习惯——每次任务结束记得交还。

启动 App 会改变手机状态,但读取不会。 phone_observe 是纯读,phone_launch 会把 App 拉到前台。所以我在真机上先只做只读验证,没让它碰会发出去的东西。

顺带一句:华为的「USB 调试」开关重启手机后会自己关,重启后要重新打开,否则 adb 里那台机器会变成 offline。

第三个坑:源码版没有 FFmpeg,窗口是黑的

真机连上、工具全通,但 Pinky 窗口里那块手机屏幕上只显示一行报错:

FFmpeg 9 not found: no avutil-61.dll in F:\reproductions\pinky
or the system's library path.
Put FFmpeg 9's shared DLLs (avcodec-63.dll, avutil-61.dll, swscale-10.dll)
next to pinky.exe, or set PINKY_FFMPEG_DIR

原因和 adb 一样:发布版把这些二进制打进去了,源码编译版没有。手机画面是 H.264 流,解码要靠 FFmpeg 9 的动态库。

补法:下载 FFmpeg 9 的 shared 构建(不是 static),把 DLL 放到 pinky.exe 旁边。我用的 BtbN 的 master shared 包,解压出来正好对上版本号:

avcodec-63.dll    115 MB
avfilter-12.dll    36 MB
avformat-63.dll    22 MB
avdevice-63.dll     5 MB
avutil-61.dll       3 MB
swscale-10.dll      2 MB
swresample-7.dll    0.7 MB

重启之后用 tasklist /m 验证,三个关键库确实被进程加载了:

avcodec-63.dll   avutil-61.dll   swscale-10.dll

画面就出来了。

三个「源码编译版缺件」汇总

这三件事连着踩,说明一个规律:能编译 ≠ 等于发布版。

缺什么表现解法
adbPinky found no adb to reach Android phones with装 platform-tools + PINKY_ADB
FFmpeg 9 DLL窗口全黑 + FFmpeg 9 not found放 7 个 DLL 到 exe 同目录
Apple 驱动iPhone 连不上装 Microsoft Store 的 Apple Devices

对想从源码跑的人,值得先看仓库的打包脚本(.github/workflows 或 scripts/)——里面写了发布时会额外塞哪些二进制,那些就是你本地缺的。

真发一条微信:它点歪了一次

只读不够说明问题。我让它在真机上回一条微信消息,看它到底能不能把「发出去」这件事办成。

微信没有无障碍树,它换成了 OCR

系统设置的页面读出来是这样的:

[75] button "电池" @540,2132

微信读出来是这样的:

ocr "Neko" @260,499
ocr "你好" @240,558

腾讯没开放无障碍节点,所以只能截图 + OCR 认字,拿到「文字 + 坐标」。这意味着:

App读取方式能不能按 ref 精确点
系统设置、桌面无障碍树✅ 能
微信、抖音等自绘 UIOCR❌ 只能按坐标猜

点歪的那一次

流程走得很顺,直到「发送」:

phone_tap (450, 2262)   点输入框   → 键盘弹起
phone_type "你好"       → 输入框出现「你好」
phone_tap (998, 1380)   点发送     → 键盘收起,什么也没发生
phone_tap (998, 2278)   再点发送   → 发出去

第一次没发出去,因为坐标是键盘弹起时量的,点的时候键盘已经收了——输入栏从 y≈1380 掉回 y≈2278,我点在了消息气泡上。

系统设置那种有 ref 的不会出这种事:ref 是绑在控件上的,布局怎么变都指得准。OCR 只有像素,布局一变就废。

最后校验

发完截一张图,靠 OCR 确认气泡在右侧(自己发的)而不是左侧(收到的),时间戳是新的:

23:43  Neko   你好      ← 收到的
23:47  我     你好      ← 发出去的

「发出去了」不能只看工具返回 OK。这次工具每次都返回 settled,但第一次其实什么也没发。必须回到界面上核对:气泡在左边还是右边、时间戳变没变。

一条设置建议

微信的「发送」默认不触发审批(Pinky 默认只拦支付、转账、下单、删除、安装、拨号)。也就是说 agent 点下去就直接发,没有二次确认。

如果要做这类操作,建议在 设置 › 安全 里把「发送」也勾上需要批准——点歪的那一刻你还能拦下,而不是等消息到了对方手机才发现。

值得抄的三件事

  1. 安全边界要放在被约束者够不到的地方。 提示词是建议,网关才是规则。
  2. 给 agent 一块独立的屏幕,而不是抢用户的屏幕。这个产品思路比技术更值钱。
  3. 内置假设备。 没有硬件也能测,接入成本直接砍掉一半——做 agent 工具的都应该有这个。

一个提醒

pre-alpha 就是 pre-alpha。README 自己写着「有些功能建好了但还没等人试」。要拿它做正经事,先拿一台备用机跑两周,别直接在自己的主力机上开权限——尤其是「改设置」和「安装应用」这两类审批,一次点错就够麻烦。


项目:DIYgod/pinky · 1.6k stars · Apache-2.0 · Go 环境:Windows 11 + Go 1.27.4 + GOPROXY=goproxy.cn 编译产物:64.4 MB 单文件,无 CGO 依赖

Tools

文中提到的工具

上面这些工具在站内都有独立条目,价格、中文支持、是否需要代理都核对过。

全部 310 款工具 →

Related

相关文章

延伸阅读

查看全部 →