Automação

Observar e agir

Duas chamadas dão ao agente o seu ciclo: olhar a tela e depois agir sobre ela.

O ciclo

GET /v1/devices/{name}/observe?w=540
# → {"seq": 41, "image": {"w": 540, "format": "jpeg", "data": "…"}, "package": "…", "activity": "…",
#    "ui": [{"text": "Checkout", "id": "…", "b": [60, 1560, 1020, 1680], "click": true}, …]}

POST /v1/devices/{name}/act  {"op":"tap_text","text":"Checkout","seq":41,"settle":true}
# → {"ok": true, "seq": 42, "settled": true, "waited_ms": 830}

Observe

observe sempre tira uma captura de tela nova e retorna até 500 elementos da tela com texto, id e limites. O agente vê exatamente o que está no celular naquele momento.

Agir

act toca, desliza, digita, pressiona teclas e abre apps. Ele recusa com 409 stale se outro observe ou act aconteceu depois do seq que você passou, assim o agente nunca age sobre uma imagem antiga. Com settle, ele espera a tela estabilizar, até 5 segundos.

Assistir ao vivo

Abra o celular no painel para ver a tela ao vivo enquanto o agente trabalha, ou coloque vários celulares lado a lado no Multi-view. Cada passo também pode retornar uma captura de tela, e um webhook avisa o seu servidor quando uma tarefa termina ou um celular precisa de atenção.