面向手机智能体（phone agent）的混合动作编排与评测框架 PhoneHarness 已正式开源，开发方为 PhoneHarness 团队。该项目针对以往手机智能体评测过度倚重 GUI 导航的短板，将 shell 命令、Python 脚本、GUI 操作以及 MCP 工具统一放进一个智能体循环之内。智能体运行于 Android 模拟器，借助设备端工具与服务端代理完成任务，评分依据是文件、系统设置、应用状态等能够被核验的证据，而不是单看下一步点击位置是否正确。项目同时发布了配套的 PhoneHarness Bench 评测数据集（托管于 Hugging Face），并提供学术论文（arXiv: 2606.14832）。
四类动作并存：CLI、Python、技能加载与GUI子任务
PhoneHarness 构建的混合动作空间覆盖四种动作类型，全部由同一个智能体循环调度。其中 shell_exec 用于在设备上执行 shell 命令；python_exec 用于运行 Python 脚本；load_skill 负责加载宿主端的工具代理；run_seed_gui_subtask 则调用 GUI 工作器，处理以截图驱动的界面交互。按照项目设计，这套动作集合让智能体可以依据任务自身的特点，挑选最合适的执行路径，而不是被迫走同一条通道。
编排与视觉分工：委托式GUI控制如何运转
在 GUI 控制方面，PhoneHarness 采取委托式思路。外层编排模型承担规划与工具调用的职责，专门的 GUI 工作器则负责基于截图的应用交互。二者分工明确：编排模型把注意力放在高层决策上，GUI 模型专注视觉 grounding，双方通过 run_seed_gui_subtask 接口衔接协作。这种分离架构避免了单个模型同时背负规划与视觉识别两类负担。
确定性优先的路由：能用命令行就不走截图
项目引入的路由卡片遵循确定性优先原则。当任务存在精确的可执行路径时，路由卡片会优先选择 CLI 或 MCP 路径完成工作，直接通过命令行或工具调用收敛结果，只有在确有必要时才退回 GUI 操作。该机制的作用是压减不必要的截图与视觉推理开销，让任务执行更确定、效率更高。
Host-Device双端架构与五类失败归因
整体部署采用 Host-Device 双端结构。Host 端运行于 macOS/Linux，承载 OpenAI 兼容的模型端点、GUI 代理与轨迹查看器，其中 GUI 代理监听 8919 端口，支持截图、点击、滑动与输入动作。Android 模拟器端则运行 phoneharness 服务（端口 8920）、shell/python 执行器以及 GUI 工作器。默认模式下，编排模型由 --model 参数指定，GUI 模型由 --gui-model 参数指定，两者可以各自独立配置。
所有智能体动作都会被记录成 JSONL 轨迹，并可用 HTML 页面可视化查看。失败原因可审计归入五类：模型推理错误、GUI grounding 错误、环境故障、工具失败、验证器不匹配。项目给出的启动示例如下：
export OPENAI_BASE_URL=""；export OPENAI_API_KEY=""；python3 -m phoneharness console \ --model "" \ --gui-model ""。
项目资源入口包括：GitHub 仓库 https://github.com/PhoneHarness/PhoneHarness；官网 https://phoneharness.github.io/；论文 https://arxiv.org/abs/2606.14832；数据集 https://huggingface.co/datasets/PhoneHarness/phoneharness-bench。技术栈由 Python、Android Emulator、Termux 与 OpenAI 兼容 API 组成，平台覆盖 macOS、Linux（Host）加 Android 模拟器（Device）。
适用人群与评测基准价值
PhoneHarness 的目标用户包括手机智能体研究者、AI Agent 开发者以及移动应用自动化测试工程师。项目为「超越纯 GUI 导航」的手机智能体工作流提供了标准化的评测基础设施，适合需要验证文件系统操作、系统设置变更、应用状态流转等副作用的场景。对学术研究者而言，PhoneHarness Bench 数据集与可复现的模拟器环境（Pixel 6 / API 33）构成了统一评测基准；对工程团队而言，混合动作空间加上确定性路由机制，使智能体能高效处理 CLI 即可完成的任务，仅在必要时调用 GUI，从而降低视觉推理的成本与不确定性。
小结：PhoneHarness 把多形态动作编排与可审计的证据式评分合为一体，并公开了数据集与模拟器基准，为手机智能体评测补上了「非纯 GUI」这一环。对需要衡量副作用与执行路径的团队来说，它提供了一套可直接复用的基础设施。