モバイルパネル
iOS Simulator、Android エミュレーター、または実機の Android スマートフォンを adb 経由で 1DevTool 内にミラーリングし、デスクトップから操作して、画面をエージェントに送り、アプリを Build & Run でデバイスに直接インストールできます。
Mobile パネルは、ターミナルの隣にデバイスを表示します。iOS Simulator、Android エミュレーター、そして(v1.83.0 以降)adb で接続した実機の Android スマートフォンをミラーリングできます。タップ、スワイプ、文字入力ができ、画面を AI エージェントに送ったり、アプリをそのままデバイスにビルドしたりできます。
サイドバーの Mobile タブから開き、右上で iOS または Android を選択します。タブが表示されない場合は、Extensions で Mobile emulator がオフになっています。
各プラットフォームの要件
アプリ内の Guide をクリックすると、同じチェックリストを確認できます。
| プラットフォーム | 必須 | 任意 |
|---|---|---|
| iOS Simulator | Xcode と Simulator がインストールされた macOS。xcrun simctl が動作すること | 全機能を使うための WebDriverAgent(デフォルトのホストは http://127.0.0.1:8100)、入力を高速化する idb + idb_companion |
| Android エミュレーター | Android SDK の Emulator と Platform-Tools、および AVD が 1 つ以上 | — |
| Android スマートフォン | Android SDK Platform-Tools(adb)のみ | エミュレーターは不要 |
1DevTool は ANDROID_HOME / ANDROID_SDK_ROOT、または Android Studio のデフォルトの場所(Windows は %LOCALAPPDATA%\Android\Sdk、macOS は ~/Library/Android/sdk、Linux は ~/Android/Sdk)から adb と emulator を検出します。
Android SDK の片方しかない場合、パネルは Android を隠さず、次のように状況を表示します。
adb found, emulator missing: only physical devices over adb are available.emulator found, adb missing: install Android SDK Platform-Tools; streaming and input need adb.
ターミナルからまとめて確認するには、次を実行します。
xcrun simctl list devices --json
emulator -list-avds
adb devices -l
which idb && which idb_companion
実機の Android スマートフォンを接続する
USB で接続
- スマートフォンで 設定 > デバイス情報 を開き、ビルド番号を 7 回タップします。続いて 開発者向けオプション > USB デバッグ をオンにします。
- スマートフォンを接続してロックを解除し、USB デバッグを許可 を承認します。
adb devicesでunauthorizedやofflineではなくdeviceと表示される必要があります。Windows では、機種(たとえば Samsung)によってメーカー製の USB ドライバーが必要です。 - Mobile パネルで Android に切り替え、デバイスピッカーを開きます。スマートフォンは Connected devices (adb) の下に、モデル名、シリアル番号、USB とともに表示されます。
- スマートフォンを選択して Connect をクリックします。
Wi-Fi で接続(Android 11 以降)
- スマートフォンで 開発者向けオプション > ワイヤレスデバッグ を開き、ペア設定コードによるデバイスのペア設定 を選択します。
- ターミナルで、スマートフォンに表示されたコードを使って
adb pair <ip>:<pair-port>を実行し、続けてadb connect <ip>:<port>を実行します。 - スマートフォンが Connected devices (adb) の下に Wi-Fi と表示されて現れます。
スマートフォンの状態
ピッカーの右側に、各スマートフォンの状態が表示されます。
| 状態 | 意味 | 対処 |
|---|---|---|
| Online(緑) | adb がスマートフォンと通信できる | Connect をクリック |
| Unauthorized(黄) | スマートフォンがこのコンピューターをまだ信頼していない | スマートフォンのロックを解除し、「USB デバッグを許可」のプロンプトを承認 |
| Offline(黄) | 接続が切れた | ケーブル(または Wi-Fi)を接続し直すか、adb reconnect を実行 |
スマートフォンが Unauthorized または Offline の間は、Connect がグレーアウトされ、パネルに対処方法が表示されます。ピッカーを開いている間、または選択中のスマートフォンが準備できていない間は、一覧が 5 秒ごとに更新されるため、許可をタップすると状態は自動的に緑に変わります。取り外したスマートフォンは未接続として扱われます。パネルが別のデバイスに勝手に切り替えることはありません。
デバイスを操作する
接続すると、デバイスの画面がパネルにミラーリングされ、状態が Connected と表示されます。スマートフォンの場合、サイドバーのラベルは Emulator から Device に変わり、状態は Connected (USB adb) または Connected (Wi-Fi adb) と表示されます。
- クリックでタップ、ドラッグでスワイプします。
- パネルにフォーカスがある状態でキーボードから入力すると、テキストが送信されます。
- Android のツールバーには、Home、Back、Overview、Lock、Scroll up、Scroll down、そしてスクリーンショットをディスクに保存するボタンがあります。
- 接続カードの下の Log には、
tap 360,800のように各操作が記録されます。
Disconnect でミラーリングを停止します。エミュレーターやシミュレーターの場合は、Shutdown emulator(または Shutdown simulator)で電源も切れます。スマートフォンを選択している間は、パネルがスマートフォンの電源を切ることはないため、このボタンは表示されません。
画面をエージェントに送る
Send to AI は現在の画面を取得してアノテーターで開くので、問題のある箇所に印を付けられます。その後、送信先の AI ターミナルを選びます。メッセージには、Android physical device - SM A076B (adb serial …, USB) のようなデバイス情報と、直近の操作ログが含まれます。これにより、エージェントはどのデバイスを見ているのかを把握できます。
Build & Run
Build & Run は、アプリをビルドして選択中のデバイスで起動します。
- Android: Gradle のデバッグビルドを実行し、選択中のエミュレーターまたはスマートフォンにシリアル番号を指定してインストールし、設定したアクティビティ(未設定の場合はアプリのランチャーアクティビティ)を起動します。起動していないエミュレーターは先に起動されます。スマートフォンの場合は、準備ができているかの確認のみ行います。Windows では Gradle が
bash経由で実行されるため、Git Bash をPATHに通しておく必要があります。 - iOS: 設定した Xcode プロジェクトまたはスキームをビルドし、選択中のシミュレーターで実行します。
制限事項
- Android のミラーリングは、動画ストリームではなく
adb exec-out screencapによるスクリーンショットの連続です。720×1600 のスマートフォンで毎秒 2〜3 フレーム程度で、画面が大きいほどフレームレートは下がります。レイアウトや画面遷移の確認には十分ですが、アニメーションの確認には向きません。 - 入力は
adb shell input経由のため、タップ、スワイプ、テキスト、キー入力に対応します。マルチタッチ、ピンチ、長押しには対応していません。 - セキュアなロック画面や、スクリーンショットを禁止しているアプリは、黒い画面として取得されます。Android はすべてのキャプチャツールに対してこれらを黒く表示します。
- 実機に対応しているのは Android のみです。iOS ではシミュレーターをミラーリングします。
Related
- Extensions: Mobile パネルのオン/オフを切り替える
- ワークスペースの概要
- ローカルアプリをプレビューする