Chạy tự động hóa

Observe và act

Hai lệnh gọi tạo nên vòng lặp của agent: nhìn màn hình, rồi thao tác trên đó.

Vòng lặp

GET /v1/devices/{name}/observe?w=540
# → {"seq": 41, "image": {"w": 540, "format": "jpeg", "data": "…"}, "package": "…", "activity": "…",
#    "ui": [{"text": "Checkout", "id": "…", "b": [60, 1560, 1020, 1680], "click": true}, …]}

POST /v1/devices/{name}/act  {"op":"tap_text","text":"Checkout","seq":41,"settle":true}
# → {"ok": true, "seq": 42, "settled": true, "waited_ms": 830}

Observe

observe luôn chụp màn hình mới và trả về tối đa 500 phần tử trên màn hình kèm văn bản, id và vùng biên của chúng. Agent thấy đúng những gì đang có trên điện thoại vào lúc đó.

Thao tác

act chạm, vuốt, gõ chữ, bấm phím và mở ứng dụng. Lệnh từ chối với 409 stale nếu đã có một observe hay act khác sau seq bạn truyền vào, nên agent không bao giờ thao tác trên một hình cũ. Với settle, lệnh chờ đến khi màn hình thôi thay đổi, tối đa 5 giây.

Xem trực tiếp

Mở điện thoại trên bảng điều khiển để xem màn hình trực tiếp trong lúc agent làm việc, hoặc đặt nhiều máy cạnh nhau trong Multi-view. Mỗi bước cũng có thể trả về ảnh chụp màn hình, và webhook báo cho máy chủ của bạn khi tác vụ kết thúc hoặc một máy cần được chú ý.