Автоматизация

Смотреть и действовать

Два вызова дают агенту цикл: посмотреть на экран, потом действовать.

Цикл

GET /v1/devices/{name}/observe?w=540
# → {"seq": 41, "image": {"w": 540, "format": "jpeg", "data": "…"}, "package": "…", "activity": "…",
#    "ui": [{"text": "Checkout", "id": "…", "b": [60, 1560, 1020, 1680], "click": true}, …]}

POST /v1/devices/{name}/act  {"op":"tap_text","text":"Checkout","seq":41,"settle":true}
# → {"ok": true, "seq": 42, "settled": true, "waited_ms": 830}

Observe

observe всегда делает свежий скриншот и возвращает до 500 элементов экрана с их текстом, id и границами. Агент видит ровно то, что сейчас на телефоне.

Действует

act нажимает, свайпает, печатает, жмёт клавиши и открывает приложения. Он отказывает с 409 stale, если после переданного seq уже был другой observe или act, — так агент никогда не действует по старой картинке. С settle он ждёт, пока экран перестанет меняться, до 5 секунд.

Смотреть в реальном времени

Откройте телефон в панели, чтобы видеть его экран вживую, пока работает агент, или поставьте несколько телефонов рядом в Multi-view. Каждый шаг может вернуть и скриншот, а вебхук сообщит вашему серверу, когда задача закончится или телефону понадобится внимание.