English
Русский
简体中文
繁體中文
Tiếng Việt
Bahasa Indonesia
Português
EspañolBenchmark AndroidWorld
Agent của chúng tôi đạt bao nhiêu trên điện thoại đám mây.
AndroidWorld là benchmark mở của Google Research: 116 tác vụ trong 20 ứng dụng Android thông dụng, mỗi tác vụ được kiểm tra bằng mã dựa trên trạng thái của điện thoại. Chúng tôi chạy benchmark trên điện thoại đám mây Clousd với chính agent đang làm các tác vụ của bạn.
23 tác vụ phụ thuộc vào ngày hôm nay sẽ chạy vào 25.10.2026; kết quả sẽ được bổ sung tại đây.
Kết quả theo ứng dụng.
Mỗi tác vụ chỉ có một lần thử. Tác vụ chỉ được tính là đạt khi bước kiểm tra của chính benchmark chấp nhận trạng thái cuối cùng của điện thoại.
| Ứng dụng | Tác vụ | Đạt | Kết quả |
|---|---|---|---|
| Simple Calendar Pro | 17 | 4 · 12 đang chờ | 80% |
| Settings | 16 | 16 | 100% |
| Markor | 14 | 10 | 71% |
| Broccoli recipes | 13 | 6 | 46% |
| Pro Expense | 9 | 8 | 89% |
| Simple SMS Messenger | 6 | 6 | 100% |
| Tasks.org | 6 | 0 · 5 đang chờ | 0% |
| OpenTracks | 6 | 0 · 6 đang chờ | — |
| Joplin | 4 | 3 | 75% |
| Retro Music | 4 | 3 | 75% |
| Chrome | 3 | 2 | 67% |
| Clock | 3 | 3 | 100% |
| OsmAnd | 3 | 3 | 100% |
| Audio Recorder | 2 | 2 | 100% |
| Camera | 2 | 1 | 50% |
| Contacts | 2 | 2 | 100% |
| Files | 2 | 2 | 100% |
| VLC | 2 | 1 | 50% |
| Simple Gallery Pro | 1 | 1 | 100% |
| Simple Draw Pro | 1 | 1 | 100% |
Cách chúng tôi chạy.
Một điện thoại Clousd bình thường
Một chiếc Pixel 6a chạy Android 13, cùng loại điện thoại đám mây bạn tạo trong bảng điều khiển, với các ứng dụng của benchmark do chính bước thiết lập của nó cài vào.
Chính agent bạn dùng
Agent Clousd đứng sau mục Tác vụ và POST /v1/runs, chạy trên mô hình Clousd: agent đọc màn hình và cây phần tử, rồi chạm, gõ, vuốt cho đến khi tự xác định tác vụ đã xong.
Bước kiểm tra của chính benchmark
Tác vụ, dữ liệu và bước kiểm tra lấy nguyên từ mã AndroidWorld, không sửa đổi. Chỉ khác cách kết nối: bộ chạy benchmark kết nối với điện thoại qua bộ chuyển đổi của chúng tôi thay vì cáp USB.
Không có cơ hội thứ hai
Mỗi tác vụ một lần thử, với giới hạn bước mà benchmark đặt theo độ khó. Tác vụ được chạy lại sau khi chúng tôi sửa điện thoại hoặc bộ chuyển đổi được tính theo lần chạy cuối.
Những chỗ vẫn còn thất bại.
Chúng tôi đã đọc từng bước của mọi tác vụ thất bại. Không tác vụ nào thất bại vì điện thoại; đây là giới hạn của agent mà chúng tôi đang cải thiện.
Nhập văn bản dài: gõ nhiều công thức nấu ăn hoặc khoản chi đầy đủ chép từ ứng dụng khác thì hết giới hạn bước.
RecipeAddSingleRecipe, RecipeAddMultipleRecipesFromMarkor, RecipeAddMultipleRecipesFromMarkor2, RecipeAddMultipleRecipesFromImage, ExpenseAddMultipleFromMarkor, MarkorCreateNoteFromClipboard
Tìm và đếm trong danh sách dài: mục trùng lặp, mục thỏa điều kiện, tổng trên nhiều dòng.
RecipeDeleteDuplicateRecipes2, RecipeDeleteDuplicateRecipes3, RecipeDeleteMultipleRecipesWithConstraint, SimpleCalendarDeleteEvents, TasksHighPriorityTasks, NotesTodoItemCount, RetroPlaylistDuration
Theo dõi và canh thời gian: đọc chữ từ video đang phát, chờ ghi hình xong, bấm nút và nhớ các con số đang thay đổi.
MarkorTranscribeVideo, CameraTakeVideo, BrowserMultiply
Thao tác tệp qua nhiều thư mục và ứng dụng: gộp và di chuyển ghi chú, tạo hai danh sách phát cùng lúc.
MarkorMergeNotes, MarkorMoveNote, VlcCreateTwoPlaylists
Câu hỏi về benchmark
AndroidWorld là gì?
Một benchmark mở dành cho agent sử dụng điện thoại Android, do Google Research công bố năm 2024. Benchmark gồm 116 tác vụ trong 20 ứng dụng như Markor, Simple Calendar, OsmAnd, VLC và phần cài đặt hệ thống; mỗi tác vụ được tạo với tham số mới và được kiểm tra bằng mã.
Vì sao một số tác vụ chưa có điểm?
Các tác vụ về “hôm nay” hay “tuần sau” được viết cho một ngày cố định năm 2023. Chúng tôi chuyển dữ liệu của chúng sang một ngày Chủ nhật năm 2026 và chạy đúng vào ngày đó, để ngày thật trên điện thoại khớp với tác vụ.
Tôi có thể chạy benchmark trên điện thoại Clousd của mình không?
Có. Tạo một điện thoại, kết nối nó với bộ chạy AndroidWorld qua API và điều khiển bằng agent của riêng bạn qua MCP hoặc /v1/devices/{name}/observe và /act.