English
Русский
简体中文
繁體中文
Tiếng Việt
Bahasa Indonesia
Português
EspañolBenchmark AndroidWorld
Cómo le va a nuestro agente en un teléfono en la nube.
AndroidWorld es un benchmark abierto de Google Research: 116 tareas en 20 apps de Android de uso diario, cada una verificada por código según el estado del teléfono. Lo ejecutamos en un teléfono en la nube de Clousd con el mismo agente que hace tus tareas.
23 tareas que dependen de la fecha actual se ejecutan el 25.10.2026; sus resultados se agregarán aquí.
Resultados por app.
Cada tarea tiene un solo intento. Una tarea cuenta como superada solo cuando la verificación del propio benchmark acepta el estado final del teléfono.
| Aplicación | Tareas | Superadas | Resultado |
|---|---|---|---|
| Simple Calendar Pro | 17 | 4 · 12 pendientes | 80% |
| Settings | 16 | 16 | 100% |
| Markor | 14 | 10 | 71% |
| Broccoli recipes | 13 | 6 | 46% |
| Pro Expense | 9 | 8 | 89% |
| Simple SMS Messenger | 6 | 6 | 100% |
| Tasks.org | 6 | 0 · 5 pendientes | 0% |
| OpenTracks | 6 | 0 · 6 pendientes | — |
| Joplin | 4 | 3 | 75% |
| Retro Music | 4 | 3 | 75% |
| Chrome | 3 | 2 | 67% |
| Clock | 3 | 3 | 100% |
| OsmAnd | 3 | 3 | 100% |
| Audio Recorder | 2 | 2 | 100% |
| Camera | 2 | 1 | 50% |
| Contacts | 2 | 2 | 100% |
| Files | 2 | 2 | 100% |
| VLC | 2 | 1 | 50% |
| Simple Gallery Pro | 1 | 1 | 100% |
| Simple Draw Pro | 1 | 1 | 100% |
Cómo lo ejecutamos.
Un teléfono Clousd común
Un Pixel 6a con Android 13, el mismo tipo de teléfono en la nube que creas en el panel, con las apps del benchmark instaladas por la configuración del propio benchmark.
El agente que usas
El agente de Clousd detrás de Tareas y POST /v1/runs, con el modelo de Clousd: lee la pantalla y su árbol de elementos, y luego toca, escribe y desliza hasta decidir que la tarea está hecha.
Las verificaciones del propio benchmark
Las tareas, los datos y las verificaciones vienen del código de AndroidWorld sin cambios. Solo cambia la conexión: el entorno del benchmark llega al teléfono a través de nuestro adaptador, en lugar de un cable USB.
Sin segundas oportunidades
Un intento por tarea, con el límite de pasos que el benchmark fija según su dificultad. Las tareas que se volvieron a ejecutar después de corregir el teléfono o el adaptador cuentan con su última ejecución.
Dónde todavía falla.
Revisamos los pasos de cada tarea fallida. Ninguna falló por el teléfono; son límites del agente en los que estamos trabajando.
Escribir textos largos: teclear varias recetas o gastos completos copiados de otra app agota el límite de pasos.
RecipeAddSingleRecipe, RecipeAddMultipleRecipesFromMarkor, RecipeAddMultipleRecipesFromMarkor2, RecipeAddMultipleRecipesFromImage, ExpenseAddMultipleFromMarkor, MarkorCreateNoteFromClipboard
Buscar y contar en listas largas: duplicados, elementos que cumplen una condición, totales de muchas filas.
RecipeDeleteDuplicateRecipes2, RecipeDeleteDuplicateRecipes3, RecipeDeleteMultipleRecipesWithConstraint, SimpleCalendarDeleteEvents, TasksHighPriorityTasks, NotesTodoItemCount, RetroPlaylistDuration
Mirar y medir el tiempo: leer texto de un video en reproducción, esperar a que termine una grabación, pulsar un botón y recordar números que cambian.
MarkorTranscribeVideo, CameraTakeVideo, BrowserMultiply
Manejo de archivos entre carpetas y apps: combinar y mover notas, dos listas de reproducción de una vez.
MarkorMergeNotes, MarkorMoveNote, VlcCreateTwoPlaylists
Preguntas sobre el benchmark
¿Qué es AndroidWorld?
Un benchmark abierto para agentes que usan teléfonos Android, publicado por Google Research en 2024. Tiene 116 tareas en 20 apps como Markor, Simple Calendar, OsmAnd, VLC y la configuración del sistema; cada tarea se genera con parámetros nuevos y se verifica por código.
¿Por qué algunas tareas aún no tienen resultado?
Las tareas sobre “hoy” o “la próxima semana” se escribieron para una fecha fija de 2023. Movimos sus datos a un domingo de 2026 y las ejecutamos ese día, para que la fecha real del teléfono coincida con la tarea.
¿Puedo ejecutar el benchmark en mis propios teléfonos Clousd?
Sí. Crea un teléfono, conéctalo al entorno de AndroidWorld mediante la API y contrólalo con tu propio agente por MCP o con /v1/devices/{name}/observe y /act.