移动面板

在 1DevTool 中镜像 iOS Simulator、Android 模拟器或通过 adb 连接的真实 Android 手机,在桌面上操作设备,将其屏幕发送给智能体,并一键 Build & Run 把应用部署到设备上。

Mobile 面板让设备与终端并排呈现。它可以镜像 iOS Simulator、Android 模拟器,或(自 v1.83.0 起)通过 adb 连接的真实 Android 手机。你可以在上面点按、滑动和输入文字,把屏幕发送给 AI 智能体,还能直接把应用构建并安装到设备上。

在侧边栏点击 Mobile 标签页打开,然后在右上角选择 iOS 或 Android。如果看不到该标签页,说明它已在扩展中以 Mobile emulator 的名称被关闭。

各平台的要求

在面板中点击 Guide,可在应用内查看同样的检查清单。

平台必需可选
iOS Simulator安装了 Xcode 和 Simulator 的 macOS;xcrun simctl 必须可用使用 WebDriverAgent(默认主机 http://127.0.0.1:8100)可获得完整功能,使用 idb + idb_companion 可加快输入速度
Android 模拟器Android SDK Emulator 和 Platform-Tools,以及至少一个 AVD—
Android 手机仅需 Android SDK Platform-Tools(adb)无需模拟器

1DevTool 通过 ANDROID_HOME / ANDROID_SDK_ROOT 查找 adb 和 emulator,或使用 Android Studio 的默认路径:Windows 上为 %LOCALAPPDATA%\Android\Sdk,macOS 上为 ~/Library/Android/sdk,Linux 上为 ~/Android/Sdk。

如果 Android SDK 只装了一半,面板会明确提示,而不是直接隐藏 Android:

  • adb found, emulator missing: only physical devices over adb are available.
  • emulator found, adb missing: install Android SDK Platform-Tools; streaming and input need adb.

要在终端里一次性检查所有项目:

bash
xcrun simctl list devices --json
emulator -list-avds
adb devices -l
which idb && which idb_companion

连接真实 Android 手机

通过 USB

  1. 在手机上打开设置 > 关于手机,连续点按版本号七次,然后开启开发者选项 > USB 调试。
  2. 插上手机并解锁,点击允许 USB 调试。adb devices 必须显示 device,而不是 unauthorized 或 offline。在 Windows 上,部分手机(例如三星)需要安装厂商的 USB 驱动。
  3. 在 Mobile 面板中切换到 Android,打开设备选择器。手机会以型号名称列在 Connected devices (adb) 下,并附有序列号和 USB 标记。
  4. 选中手机,点击 Connect。

设备选择器:在 Connected devices (adb) 下列出状态为 Online 的 SM A076B 手机,其上方为 Pixel_API_36 模拟器

通过 Wi-Fi(Android 11 及更高版本)

  1. 在手机上打开开发者选项 > 无线调试,选择使用配对码配对设备。
  2. 在终端中运行 adb pair <ip>:<pair-port> 并输入手机显示的配对码,然后运行 adb connect <ip>:<port>。
  3. 手机会出现在 Connected devices (adb) 下,并标有 Wi-Fi。

手机状态

选择器在每部手机右侧显示其状态:

状态含义处理方式
Online(绿色)adb 可以与手机通信点击 Connect
Unauthorized(琥珀色)手机尚未信任这台电脑解锁手机并点击"允许 USB 调试"提示
Offline(琥珀色)连接已断开重新插拔数据线(或重连 Wi-Fi),或运行 adb reconnect

当手机处于 Unauthorized 或 Offline 状态时,Connect 保持灰色不可点击,面板会给出解决办法。选择器打开期间,或所选手机尚未就绪时,列表每五秒刷新一次,因此你点击允许后,状态会自动变绿。已拔出的手机会被报告为未连接。面板绝不会擅自把你切换到其他设备。

Mobile 面板中手机被标记为 Unauthorized,并显示琥珀色提示,要求解锁手机并点击允许 USB 调试

操作设备

连接后,设备画面会在面板中镜像显示,状态为 Connected。对于手机,侧边栏标签会从 Emulator 变为 Device,状态显示为 Connected (USB adb) 或 Connected (Wi-Fi adb)。

  • 点击即为点按,拖动即为滑动。
  • 面板获得焦点时,在键盘上输入即可发送文字。
  • Android 工具栏提供 Home、Back、Overview、Lock、Scroll up、Scroll down,以及一个将截图保存到磁盘的按钮。
  • 连接卡片下方的 Log 会记录每次操作,例如 tap 360,800。

Mobile 面板通过 USB adb 镜像三星 SM A076B,带有 Home、Back 和 Overview 控件、Send to AI,日志显示在 360,800 处的一次点按

Disconnect 会停止镜像。对于模拟器或 Simulator,Shutdown emulator(或 Shutdown simulator)还会将其关机。选中手机时该按钮会被隐藏,因为面板绝不会关闭手机电源。

将屏幕发送给智能体

Send to AI 会截取当前屏幕并在标注器中打开,方便你标出问题所在。然后选择一个 AI 终端发送过去。消息中包含设备上下文,例如 Android physical device - SM A076B (adb serial …, USB),以及最近的操作日志,这样智能体就清楚自己看的是哪台设备。

Build & Run

Build & Run 会构建你的应用并在所选设备上启动:

  • Android:运行 Gradle debug 构建,按序列号将其安装到所选的模拟器或手机上,并启动你设置的 activity(或应用的启动器 activity)。未运行的模拟器会先被启动;对于手机,只会检查其是否就绪。在 Windows 上,Gradle 通过 bash 运行,因此 Git Bash 需要在你的 PATH 中。
  • iOS:构建你设置的 Xcode 项目或 scheme,并在所选模拟器上运行。

限制

  • Android 镜像是一系列 adb exec-out screencap 截图,而不是视频流。720×1600 的手机大约每秒 2 到 3 帧,屏幕越大帧率越低。这对检查布局和流程足够了,但不适合评判动画效果。
  • 输入通过 adb shell input 完成,因此支持点按、滑动、文字和按键。不支持多点触控、捏合和长按。
  • 安全锁屏以及禁止截屏的应用会被捕获为黑屏。Android 对所有捕获工具都会将其置黑。
  • 真实设备仅支持 Android。在 iOS 上,面板镜像的是 Simulator。

Related