แผง Mobile

มิเรอร์ iOS Simulator, Android emulator หรือโทรศัพท์ Android จริงผ่าน adb ภายใน 1DevTool ควบคุมจากเดสก์ท็อป ส่งหน้าจอให้เอเจนต์ และ Build & Run แอปลงบนอุปกรณ์ได้เลย

แผง Mobile วางอุปกรณ์มือถือไว้ข้างเทอร์มินัลของคุณ รองรับการมิเรอร์ iOS Simulator, Android emulator หรือ (ตั้งแต่ v1.83.0) โทรศัพท์ Android จริง ที่เชื่อมต่อผ่าน adb คุณสามารถแตะ ปัด และพิมพ์บนอุปกรณ์ ส่งหน้าจอให้ AI เอเจนต์ และ build แอปลงอุปกรณ์ได้โดยตรง

เปิดได้จากแท็บ Mobile ในแถบด้านข้าง แล้วเลือก iOS หรือ Android ที่มุมขวาบน หากไม่เห็นแท็บนี้ แสดงว่าถูกปิดอยู่ใน Extensions ในชื่อ Mobile emulator

สิ่งที่แต่ละแพลตฟอร์มต้องมี

คลิก Guide ในแผงเพื่อดูเช็กลิสต์เดียวกันภายในแอป

แพลตฟอร์มจำเป็นไม่บังคับ
iOS SimulatormacOS ที่มี Xcode และ Simulator; ต้องใช้งาน xcrun simctl ได้WebDriverAgent (โฮสต์เริ่มต้น http://127.0.0.1:8100) เพื่อใช้ฟีเจอร์ครบ และ idb + idb_companion เพื่อให้การป้อนข้อมูลเร็วขึ้น
Android emulatorAndroid SDK Emulator และ Platform-Tools พร้อม AVD อย่างน้อยหนึ่งตัว—
โทรศัพท์ AndroidAndroid SDK Platform-Tools (adb) เท่านั้นไม่จำเป็นต้องมี emulator

1DevTool ค้นหา adb และ emulator ผ่าน ANDROID_HOME / ANDROID_SDK_ROOT หรือผ่านตำแหน่งเริ่มต้นของ Android Studio: %LOCALAPPDATA%\Android\Sdk บน Windows, ~/Library/Android/sdk บน macOS และ ~/Android/Sdk บน Linux

หากมี Android SDK ไม่ครบ แผงจะแจ้งให้ทราบแทนที่จะซ่อน Android:

  • adb found, emulator missing: only physical devices over adb are available.
  • emulator found, adb missing: install Android SDK Platform-Tools; streaming and input need adb.

หากต้องการตรวจสอบทั้งหมดในคราวเดียวจากเทอร์มินัล:

bash
xcrun simctl list devices --json
emulator -list-avds
adb devices -l
which idb && which idb_companion

เชื่อมต่อโทรศัพท์ Android จริง

ผ่าน USB

  1. บนโทรศัพท์ เปิด Settings > About phone แล้วแตะ Build number เจ็ดครั้ง จากนั้นเปิด Developer options > USB debugging
  2. เสียบโทรศัพท์ ปลดล็อกหน้าจอ และกด Allow USB debugging คำสั่ง adb devices ต้องแสดง device ไม่ใช่ unauthorized หรือ offline บน Windows โทรศัพท์บางรุ่น (เช่น Samsung) ต้องติดตั้งไดรเวอร์ USB ของผู้ผลิต
  3. ในแผง Mobile สลับไปที่ Android แล้วเปิดตัวเลือกอุปกรณ์ โทรศัพท์จะอยู่ใต้ Connected devices (adb) พร้อมชื่อรุ่น หมายเลขซีเรียล และ USB
  4. เลือกโทรศัพท์แล้วคลิก Connect

ตัวเลือก Select Android emulator or device ที่แสดงโทรศัพท์ SM A076B ใต้ Connected devices (adb) สถานะ Online เหนือ emulator Pixel_API_36

ผ่าน Wi-Fi (Android 11 ขึ้นไป)

  1. บนโทรศัพท์ เปิด Developer options > Wireless debugging แล้วเลือก Pair device with pairing code
  2. ในเทอร์มินัล รัน adb pair <ip>:<pair-port> ด้วยรหัสที่โทรศัพท์แสดง จากนั้นรัน adb connect <ip>:<port>
  3. โทรศัพท์จะปรากฏใต้ Connected devices (adb) พร้อมป้าย Wi-Fi

สถานะของโทรศัพท์

ตัวเลือกอุปกรณ์จะแสดงสถานะของโทรศัพท์แต่ละเครื่องทางด้านขวา:

สถานะความหมายสิ่งที่ต้องทำ
Online (สีเขียว)adb สื่อสารกับโทรศัพท์ได้คลิก Connect
Unauthorized (สีเหลืองอำพัน)โทรศัพท์ยังไม่ได้ไว้วางใจคอมพิวเตอร์เครื่องนี้ปลดล็อกโทรศัพท์แล้วกดยอมรับพรอมต์ "Allow USB debugging"
Offline (สีเหลืองอำพัน)การเชื่อมต่อหลุดเสียบสายใหม่ (หรือเชื่อม Wi-Fi ใหม่) หรือรัน adb reconnect

ขณะที่โทรศัพท์อยู่ในสถานะ Unauthorized หรือ Offline ปุ่ม Connect จะเป็นสีเทาและแผงจะแสดงวิธีแก้ไข รายการจะรีเฟรชทุกห้าวินาทีขณะที่ตัวเลือกเปิดอยู่หรือโทรศัพท์ที่เลือกยังไม่พร้อม ดังนั้นสถานะจะเปลี่ยนเป็นสีเขียวเองเมื่อคุณกด Allow โทรศัพท์ที่ถอดสายออกจะถูกรายงานว่าไม่ได้เชื่อมต่อ และแผงจะไม่สลับไปใช้อุปกรณ์เครื่องอื่นให้เอง

แผง Mobile ที่โทรศัพท์แสดงสถานะ Unauthorized พร้อมคำแนะนำสีเหลืองอำพันให้ปลดล็อกและยอมรับพรอมต์ Allow USB debugging

ควบคุมอุปกรณ์

เมื่อเชื่อมต่อแล้ว อุปกรณ์จะถูกมิเรอร์ในแผงและสถานะจะแสดงเป็น Connected สำหรับโทรศัพท์ ป้ายในแถบด้านข้างจะเปลี่ยนจาก Emulator เป็น Device และสถานะจะแสดง Connected (USB adb) หรือ Connected (Wi-Fi adb)

  • คลิก เพื่อแตะ และ ลาก เพื่อปัด
  • พิมพ์ บนคีย์บอร์ดขณะที่แผงอยู่ในโฟกัสเพื่อส่งข้อความ
  • แถบเครื่องมือ Android มี Home, Back, Overview, Lock, Scroll up, Scroll down และปุ่มบันทึกภาพหน้าจอลงดิสก์
  • Log ใต้การ์ดการเชื่อมต่อจะบันทึกแต่ละการกระทำ เช่น tap 360,800

แผง Mobile ที่มิเรอร์ Samsung SM A076B ผ่าน USB adb พร้อมปุ่ม Home, Back และ Overview, Send to AI และ log ที่แสดงการแตะที่ 360,800

Disconnect จะหยุดการมิเรอร์ สำหรับ emulator หรือ simulator ปุ่ม Shutdown emulator (หรือ Shutdown simulator) จะปิดเครื่องด้วย ปุ่มนี้จะถูกซ่อนเมื่อเลือกโทรศัพท์ เพราะแผงจะไม่ปิดเครื่องโทรศัพท์ของคุณ

ส่งหน้าจอให้เอเจนต์

Send to AI จะจับภาพหน้าจอปัจจุบันและเปิดในเครื่องมือ annotator เพื่อให้คุณทำเครื่องหมายจุดที่มีปัญหา จากนั้นเลือก AI เทอร์มินัลที่จะส่งไป ข้อความจะรวมบริบทของอุปกรณ์ เช่น Android physical device - SM A076B (adb serial …, USB) และล็อกการโต้ตอบล่าสุด เพื่อให้เอเจนต์รู้ว่ากำลังดูอุปกรณ์เครื่องไหนอยู่

Build & Run

Build & Run จะ build แอปของคุณและเปิดบนอุปกรณ์ที่เลือก:

  • Android: รัน Gradle debug build ติดตั้งลง emulator หรือโทรศัพท์ที่เลือกด้วยหมายเลขซีเรียล แล้วเปิด activity ที่คุณตั้งไว้ (หรือ launcher activity ของแอป) หาก emulator ยังไม่ทำงานจะถูกสตาร์ทก่อน ส่วนโทรศัพท์จะตรวจสอบเพียงว่าพร้อมใช้งานหรือไม่ บน Windows Gradle จะรันผ่าน bash ดังนั้นต้องมี Git Bash อยู่ใน PATH
  • iOS: build โปรเจกต์หรือ scheme ของ Xcode ที่คุณตั้งไว้ แล้วรันบน simulator ที่เลือก

ข้อจำกัด

  • การมิเรอร์ Android เป็นชุดภาพหน้าจอจาก adb exec-out screencap ไม่ใช่วิดีโอสตรีม โทรศัพท์ขนาด 720×1600 ได้ประมาณสองถึงสามเฟรมต่อวินาที และหน้าจอที่ใหญ่กว่าจะได้น้อยลง เพียงพอสำหรับตรวจเลย์เอาต์และ flow แต่ไม่เหมาะกับการประเมินแอนิเมชัน
  • การป้อนข้อมูลทำผ่าน adb shell input จึงรองรับการแตะ ปัด พิมพ์ข้อความ และกดปุ่ม แต่ไม่รองรับ multi-touch, pinch และ long-press
  • หน้าจอล็อกแบบปลอดภัย และแอปที่บล็อกการจับภาพหน้าจอ จะถูกจับเป็นภาพสีดำ Android ทำให้หน้าจอเหล่านี้ดำสำหรับเครื่องมือจับภาพทุกตัว
  • อุปกรณ์จริงรองรับเฉพาะ Android เท่านั้น บน iOS แผงจะมิเรอร์ Simulator

Related