Запуск автоматизированных тестов (Android 11 или выше),Запуск автоматизированных тестов (Android 11 или выше)

Существует два варианта запуска автоматизированных тестов CTS:

• Trade Federation — это фреймворк для приложений и тестирования, позволяющий запускать тесты из командной строки. По сути, фреймворк позволяет аннотировать тесты с помощью аннотации @Test , а приложение находит и запускает эти тесты.

• OmniLab Android Test Station — это приложение, позволяющее запускать тесты в графическом интерфейсе.

На этой странице объясняется, как запускать автоматизированные тесты с помощью Trade Federation. Инструкции по запуску тестов с помощью OmniLab Android Test Harness см. в статье OmniLab Android Test Station .

Запустить все автоматизированные тесты CTS

Trade Federation содержит консоль CTS — интерфейс командной строки для запуска тестов. Чтобы запустить весь автоматизированный набор тестов CTS:

1. Убедитесь, что вы следовали инструкциям в разделе Настройка автоматизированного тестирования CTS .

2. На тестовой рабочей станции запустите консоль CTS, выполнив скрипт cts-tradefed из папки, в которую был распакован пакет CTS:

   ./android-cts/tools/cts-tradefed
   

   Консоль CTS отображает курсор для ввода команд CTS ( cts-tradefed > ).

3. План тестирования cts содержит все автоматизированные тесты CTS. Выполните следующую команду для запуска плана тестирования cts :

   run cts
   

   Выполняются автоматизированные тесты CTS. Обратите внимание на следующее:

   • Android 13 и более поздние версии поддерживают многоустройственное тестирование. Эти тесты запускаются автоматически только при использовании шардинга. Подробнее о шардинге см. в разделе «Улучшение времени выполнения тестов» . Если вы хотите запустить эти тесты вручную, см. в разделе «Запуск многоустройственных тестов» .

   • При каждом запуске CTS нажмите ctrl+c, чтобы остановить существующую консоль CTS, а затем перезапустите консоль CTS.

   • Невозможно запустить несколько версий CTS на одном хосте, поскольку каждая из них открывается с существующим сервером открытого кода местоположения (OLC).

4. Просмотреть результаты теста. Подробнее см. в разделе «Интерпретация результатов CTS» .

5. Если это ваш первый запуск теста, некоторые тесты могут быть не пройдены по причинам, не зависящим от вас. Например, сетевое соединение может быть медленным или сигнал GPS может быть слабым. Повторяйте тесты, пока все тестовые модули не будут завершены, а количество сбоев тестов не станет одинаковым между двумя последними сеансами повторных попыток:

   run retry --retry session_number`
   

6. После того, как сбои тестов станут постоянными при повторных попытках, сосредоточьтесь на отладке оставшихся неудачных тестов. Информация об устранении неполадок в результатах тестов представлена ​​в разделах «Триагинальная сортировка сбоев тестов» и «Устранение неполадок в тестах CTS» .

Запустить CTS для многоэкранных устройств

Если ваше устройство работает под управлением Android 11 или 12 и имеет несколько экранов, вам необходимо запустить план тестирования cts-foldable отдельно:

run cts-foldable

Пройденные или неудачные тестовые случаи для альтернативного режима экрана добавляются со значением из display_mode , например, testcase1[display_mode=0] .

Запуск тестов нескольких устройств (Android 15 или ниже)

Выполните следующую команду для запуска плана тестирования cts-multidevice :

run cts-multidevice

Выполнять индивидуальные планы тестирования

Вместо того, чтобы запускать все планы тестирования одновременно, вы можете запустить отдельные планы тестирования. Эта возможность полезна для экономии времени и позволяет сосредоточиться на определённом наборе тестов. Чтобы запустить отдельный план тестирования:

1. Определите имя плана тестирования, который вы хотите запустить, выполнив команду list modules .

2. Запустите план тестирования:

   run cts --plan test_module_or_plan_name
   

Улучшить время выполнения теста

Если вы хотите сократить время выполнения теста, вы можете распределить тесты по нескольким устройствам. Для этого требуется, чтобы хост был подключен как минимум к двум устройствам, но для эффективности рекомендуется подключать шесть или более устройств.

Для сегментирования тестов на Android 11 и выше выполните:

run cts --shard-count number_of_shards

Кроме того, перед запуском проверочных тестов вы можете ускорить их выполнение, используя команду CTS run cts-dev . Эта команда пропускает предварительные условия, сбор информации об устройстве и все проверки состояния системы. Кроме того, она запускает тесты только на одном ABI.