English
Русский
简体中文
繁體中文
Tiếng Việt
Bahasa Indonesia
Português
EspañolBenchmark AndroidWorld
Skor agent kami di cloud phone.
AndroidWorld adalah benchmark terbuka dari Google Research: 116 tugas di 20 aplikasi Android sehari-hari, masing-masing diperiksa oleh kode berdasarkan keadaan ponsel. Kami menjalankannya di cloud phone Clousd dengan agent yang sama yang mengerjakan tugas Anda.
23 tugas yang bergantung pada tanggal hari ini dijalankan pada 25.10.2026; hasilnya akan ditambahkan di sini.
Hasil per aplikasi.
Setiap tugas mendapat satu percobaan. Tugas dihitung lulus hanya jika pemeriksaan bawaan benchmark menerima keadaan akhir ponsel.
| Aplikasi | Tugas | Lulus | Hasil |
|---|---|---|---|
| Simple Calendar Pro | 17 | 4 · 12 menunggu | 80% |
| Settings | 16 | 16 | 100% |
| Markor | 14 | 10 | 71% |
| Broccoli recipes | 13 | 6 | 46% |
| Pro Expense | 9 | 8 | 89% |
| Simple SMS Messenger | 6 | 6 | 100% |
| Tasks.org | 6 | 0 · 5 menunggu | 0% |
| OpenTracks | 6 | 0 · 6 menunggu | — |
| Joplin | 4 | 3 | 75% |
| Retro Music | 4 | 3 | 75% |
| Chrome | 3 | 2 | 67% |
| Clock | 3 | 3 | 100% |
| OsmAnd | 3 | 3 | 100% |
| Audio Recorder | 2 | 2 | 100% |
| Camera | 2 | 1 | 50% |
| Contacts | 2 | 2 | 100% |
| Files | 2 | 2 | 100% |
| VLC | 2 | 1 | 50% |
| Simple Gallery Pro | 1 | 1 | 100% |
| Simple Draw Pro | 1 | 1 | 100% |
Cara kami menjalankannya.
Ponsel Clousd biasa
Pixel 6a dengan Android 13, jenis cloud phone yang sama dengan yang Anda buat di dasbor; aplikasi benchmark dipasang oleh proses penyiapan benchmark itu sendiri.
Agent yang Anda pakai
Agent Clousd di balik Tugas dan POST /v1/runs, dengan model Clousd: agent membaca layar dan pohon elemennya, lalu mengetuk, mengetik, dan menggeser sampai memutuskan tugas selesai.
Pemeriksaan bawaan benchmark
Tugas, data, dan pemeriksaan diambil dari kode AndroidWorld tanpa perubahan. Hanya koneksinya yang berbeda: harness benchmark terhubung ke ponsel melalui adaptor kami, bukan kabel USB.
Tanpa kesempatan kedua
Satu percobaan per tugas, dengan batas langkah yang ditetapkan benchmark sesuai tingkat kesulitannya. Tugas yang dijalankan ulang setelah kami memperbaiki ponsel atau adaptor dihitung dari percobaan terakhirnya.
Di mana agent masih gagal.
Kami membaca langkah setiap tugas yang gagal. Tidak satu pun gagal karena ponselnya; ini adalah batasan agent yang sedang kami perbaiki.
Input teks panjang: mengetik beberapa resep atau pengeluaran lengkap yang disalin dari aplikasi lain menghabiskan jatah langkah.
RecipeAddSingleRecipe, RecipeAddMultipleRecipesFromMarkor, RecipeAddMultipleRecipesFromMarkor2, RecipeAddMultipleRecipesFromImage, ExpenseAddMultipleFromMarkor, MarkorCreateNoteFromClipboard
Mencari dan menghitung di daftar panjang: duplikat, item dengan syarat tertentu, total dari banyak baris.
RecipeDeleteDuplicateRecipes2, RecipeDeleteDuplicateRecipes3, RecipeDeleteMultipleRecipesWithConstraint, SimpleCalendarDeleteEvents, TasksHighPriorityTasks, NotesTodoItemCount, RetroPlaylistDuration
Menonton dan mengatur waktu: membaca teks dari video yang sedang diputar, menunggu rekaman selesai, mengeklik tombol sambil mengingat angka yang berubah.
MarkorTranscribeVideo, CameraTakeVideo, BrowserMultiply
Urusan file lintas folder dan aplikasi: menggabungkan dan memindahkan catatan, dua playlist sekaligus.
MarkorMergeNotes, MarkorMoveNote, VlcCreateTwoPlaylists
Pertanyaan tentang benchmark
Apa itu AndroidWorld?
Benchmark terbuka untuk agent yang menggunakan ponsel Android, dirilis oleh Google Research pada 2024. Isinya 116 tugas di 20 aplikasi seperti Markor, Simple Calendar, OsmAnd, VLC, dan pengaturan sistem; setiap tugas dibuat dengan parameter baru dan diperiksa oleh kode.
Mengapa sebagian tugas belum punya skor?
Tugas tentang "hari ini" atau "minggu depan" ditulis untuk tanggal tetap di 2023. Kami memindahkan datanya ke hari Minggu di 2026 dan menjalankannya pada hari itu, sehingga tanggal sebenarnya di ponsel sesuai dengan tugasnya.
Bisakah saya menjalankan benchmark di ponsel Clousd saya sendiri?
Bisa. Buat ponsel, hubungkan ke harness AndroidWorld melalui API, lalu kendalikan dengan agent Anda sendiri lewat MCP atau /v1/devices/{name}/observe dan /act.