English
Русский
简体中文
繁體中文
Tiếng Việt
Bahasa Indonesia
Português
EspañolBenchmark AndroidWorld
Como nosso agente se sai num celular na nuvem.
O AndroidWorld é um benchmark aberto do Google Research: 116 tarefas em 20 apps Android do dia a dia, cada uma verificada por código a partir do estado do celular. Rodamos o benchmark num celular na nuvem da Clousd com o mesmo agente que executa as suas tarefas.
23 tarefas que dependem da data de hoje rodam em 25.10.2026; os resultados serão adicionados aqui.
Resultados por app.
Cada tarefa tem uma única tentativa. Uma tarefa só conta como concluída quando a verificação do próprio benchmark aceita o estado final do celular.
| Aplicativo | Tarefas | Concluídas | Resultado |
|---|---|---|---|
| Simple Calendar Pro | 17 | 4 · 12 pendentes | 80% |
| Settings | 16 | 16 | 100% |
| Markor | 14 | 10 | 71% |
| Broccoli recipes | 13 | 6 | 46% |
| Pro Expense | 9 | 8 | 89% |
| Simple SMS Messenger | 6 | 6 | 100% |
| Tasks.org | 6 | 0 · 5 pendentes | 0% |
| OpenTracks | 6 | 0 · 6 pendentes | — |
| Joplin | 4 | 3 | 75% |
| Retro Music | 4 | 3 | 75% |
| Chrome | 3 | 2 | 67% |
| Clock | 3 | 3 | 100% |
| OsmAnd | 3 | 3 | 100% |
| Audio Recorder | 2 | 2 | 100% |
| Camera | 2 | 1 | 50% |
| Contacts | 2 | 2 | 100% |
| Files | 2 | 2 | 100% |
| VLC | 2 | 1 | 50% |
| Simple Gallery Pro | 1 | 1 | 100% |
| Simple Draw Pro | 1 | 1 | 100% |
Como rodamos.
Um celular Clousd comum
Um Pixel 6a com Android 13, o mesmo tipo de celular na nuvem que você cria no painel, com os apps do benchmark instalados pela configuração do próprio benchmark.
O agente que você usa
O agente da Clousd por trás de Tarefas e de POST /v1/runs, no modelo da Clousd: ele lê a tela e a árvore de elementos, depois toca, digita e desliza até decidir que a tarefa está concluída.
As verificações do próprio benchmark
Tarefas, dados e verificações vêm do código do AndroidWorld sem alterações. Só a conexão muda: o harness do benchmark chega ao celular pelo nosso adaptador, em vez de um cabo USB.
Sem segunda chance
Uma tentativa por tarefa, com o limite de passos que o benchmark define para a dificuldade dela. Tarefas executadas de novo depois que corrigimos o celular ou o adaptador contam pela última execução.
Onde ainda falha.
Lemos os passos de cada tarefa que falhou. Nenhuma falhou por causa do celular; são limites do agente nos quais estamos trabalhando.
Digitação de textos longos: digitar várias receitas ou despesas completas copiadas de outro app esgota o limite de passos.
RecipeAddSingleRecipe, RecipeAddMultipleRecipesFromMarkor, RecipeAddMultipleRecipesFromMarkor2, RecipeAddMultipleRecipesFromImage, ExpenseAddMultipleFromMarkor, MarkorCreateNoteFromClipboard
Busca e contagem em listas longas: duplicatas, itens com uma condição, totais de muitas linhas.
RecipeDeleteDuplicateRecipes2, RecipeDeleteDuplicateRecipes3, RecipeDeleteMultipleRecipesWithConstraint, SimpleCalendarDeleteEvents, TasksHighPriorityTasks, NotesTodoItemCount, RetroPlaylistDuration
Assistir e cronometrar: ler texto de um vídeo em reprodução, esperar uma gravação terminar, clicar num botão e memorizar números que mudam.
MarkorTranscribeVideo, CameraTakeVideo, BrowserMultiply
Manuseio de arquivos entre pastas e apps: mesclar e mover notas, duas playlists de uma vez.
MarkorMergeNotes, MarkorMoveNote, VlcCreateTwoPlaylists
Perguntas sobre o benchmark
O que é o AndroidWorld?
Um benchmark aberto para agentes que usam celulares Android, publicado pelo Google Research em 2024. Tem 116 tarefas em 20 apps como Markor, Simple Calendar, OsmAnd, VLC e as configurações do sistema; cada tarefa é gerada com parâmetros novos e verificada por código.
Por que algumas tarefas ainda não têm resultado?
Tarefas sobre “hoje” ou “semana que vem” foram escritas para uma data fixa de 2023. Movemos os dados delas para um domingo de 2026 e as rodamos nesse dia, para que a data real do celular bata com a tarefa.
Posso rodar o benchmark nos meus próprios celulares Clousd?
Sim. Crie um celular, conecte-o ao harness do AndroidWorld pela API e controle-o com seu próprio agente via MCP ou /v1/devices/{name}/observe e /act.