English
Русский
简体中文
繁體中文
Tiếng Việt
Bahasa Indonesia
Português
EspañolБенчмарк AndroidWorld
Как справляется наш агент на облачном телефоне.
AndroidWorld — открытый бенчмарк Google Research: 116 задач в 20 повседневных приложениях Android, каждая проверяется кодом по состоянию телефона. Мы запускаем его на облачном телефоне Clousd с тем же агентом, который выполняет ваши задачи.
Задачи, которые зависят от сегодняшней даты (23), запускаются 25.10.2026; их результаты появятся здесь.
Результаты по приложениям.
У каждой задачи одна попытка. Задача засчитывается, только если собственная проверка бенчмарка принимает итоговое состояние телефона.
| Приложение | Задачи | Пройдено | Результат |
|---|---|---|---|
| Simple Calendar Pro | 17 | 4 · в ожидании: 12 | 80% |
| Settings | 16 | 16 | 100% |
| Markor | 14 | 10 | 71% |
| Broccoli recipes | 13 | 6 | 46% |
| Pro Expense | 9 | 8 | 89% |
| Simple SMS Messenger | 6 | 6 | 100% |
| Tasks.org | 6 | 0 · в ожидании: 5 | 0% |
| OpenTracks | 6 | 0 · в ожидании: 6 | — |
| Joplin | 4 | 3 | 75% |
| Retro Music | 4 | 3 | 75% |
| Chrome | 3 | 2 | 67% |
| Clock | 3 | 3 | 100% |
| OsmAnd | 3 | 3 | 100% |
| Audio Recorder | 2 | 2 | 100% |
| Camera | 2 | 1 | 50% |
| Contacts | 2 | 2 | 100% |
| Files | 2 | 2 | 100% |
| VLC | 2 | 1 | 50% |
| Simple Gallery Pro | 1 | 1 | 100% |
| Simple Draw Pro | 1 | 1 | 100% |
Как мы его запускали.
Обычный телефон Clousd
Pixel 6a на Android 13 — такой же облачный телефон, какой вы создаёте в панели; приложения бенчмарка поставил его собственный сценарий подготовки.
Тот же агент, что у вас
Агент Clousd, который стоит за разделом «Задачи» и POST /v1/runs, на модели Clousd: он читает экран и дерево его элементов, затем нажимает, вводит текст и листает, пока не решит, что задача выполнена.
Проверки самого бенчмарка
Задачи, данные и проверки взяты из кода AndroidWorld без изменений. Отличается только подключение: стенд бенчмарка связывается с телефоном через наш адаптер, а не по USB-кабелю.
Без второго шанса
Одна попытка на задачу с лимитом шагов, который бенчмарк задаёт по её сложности. Если задачу перезапускали после того, как мы исправили телефон или адаптер, засчитывается последний запуск.
Где он ещё ошибается.
Мы прочитали шаги каждой проваленной задачи. Ни одна не провалилась из-за телефона: это пределы агента, над которыми мы работаем.
Длинный ввод текста: когда нужно набрать несколько полных рецептов или расходов, скопированных из другого приложения, агенту не хватает лимита шагов.
RecipeAddSingleRecipe, RecipeAddMultipleRecipesFromMarkor, RecipeAddMultipleRecipesFromMarkor2, RecipeAddMultipleRecipesFromImage, ExpenseAddMultipleFromMarkor, MarkorCreateNoteFromClipboard
Поиск и подсчёт в длинных списках: дубликаты, записи по условию, суммы по многим строкам.
RecipeDeleteDuplicateRecipes2, RecipeDeleteDuplicateRecipes3, RecipeDeleteMultipleRecipesWithConstraint, SimpleCalendarDeleteEvents, TasksHighPriorityTasks, NotesTodoItemCount, RetroPlaylistDuration
Видео и ожидание: прочитать текст из идущего видео, дождаться конца записи, нажимать кнопку и запоминать меняющиеся числа.
MarkorTranscribeVideo, CameraTakeVideo, BrowserMultiply
Файлы в разных папках и приложениях: объединить и перенести заметки, создать два плейлиста за один раз.
MarkorMergeNotes, MarkorMoveNote, VlcCreateTwoPlaylists
Вопросы о бенчмарке
Что такое AndroidWorld?
Открытый бенчмарк для агентов, которые работают с телефонами Android, — его опубликовала Google Research в 2024 году. В нём 116 задач в 20 приложениях: Markor, Simple Calendar, OsmAnd, VLC, системные настройки и другие; каждая задача генерируется с новыми параметрами и проверяется кодом.
Почему у части задач ещё нет результата?
Задачи про «сегодня» или «следующую неделю» написаны под фиксированную дату в 2023 году. Мы перенесли их данные на воскресенье в 2026 году и запускаем их в этот день, чтобы настоящая дата на телефоне совпадала с задачей.
Можно ли запустить бенчмарк на своих телефонах Clousd?
Да. Создайте телефон, подключите его к стенду AndroidWorld через API и управляйте им своим агентом через MCP или /v1/devices/{name}/observe и /act.