Результаты теста CTS помещены в файл:
CTS_ROOT /android-cts/results/start_time .zip
Если вы собрали CTS самостоятельно, CTS_ROOT напоминает out/host/linux-x86/cts но отличается в зависимости от платформы. Это отражает путь, по которому вы распаковали готовый официальный CTS, загруженный с этого сайта.
Внутри zip-архива находится файл test_result.xml, содержащий фактические результаты.
Отображение результатов Android 10 и более поздних версий
Файл test_result.html находится внутри zip-архива, вы можете открыть его напрямую в любом веб-браузере, совместимом с HTML5.
Показать результаты до Android 10
Откройте файл test_result.xml в любом веб-браузере, совместимом с HTML5, чтобы просмотреть результаты теста.
Если этот файл отображает пустую страницу при использовании браузера Chrome, измените конфигурацию браузера , включив флаг командной строки --allow-file-access-from-files .
Прочитайте результаты теста
Детали результатов теста зависят от используемой версии CTS:
- CTS v1 для Android 6.0 и более ранних версий
- CTS v2 для Android 7.0 и более поздних версий
Информация об устройстве
В CTS v1 и более ранних версиях выберите Device Information (ссылка выше Test Summary), чтобы просмотреть сведения об устройстве, прошивке (марка, модель, сборка прошивки, платформа) и оборудовании устройства (разрешение экрана, клавиатура, тип экрана). CTS v2 не отображает информацию об устройстве.
Краткое содержание теста
Раздел Test Summary содержит детали выполненного плана тестирования, такие как имя плана CTS и время начала и окончания выполнения. Он также представляет собой совокупную сводку количества пройденных, не пройденных, истекших по времени или невыполненных тестов.
Краткое изложение результатов теста образца Android 10 CTS
Рисунок 1: Сводка теста образца Android 10 CTS
Краткое изложение результатов теста образца CTS v2
Рисунок 2: Сводка теста образца CTS v2
Краткое изложение результатов теста образца CTS v1
Рисунок 3: Сводка теста образца CTS v1
Отчет об испытаниях
В следующем разделе, отчете об испытаниях CTS, приводится сводка испытаний, пройденных каждым пакетом.
Далее следуют подробности фактически выполненных тестов. В отчете перечислены пакет тестов, набор тестов, тестовый случай и выполненные тесты. Он показывает результат выполнения теста — пройден, провален, истекло время ожидания или не выполнен. В случае провала теста предоставляются подробности, помогающие диагностировать причину.
Кроме того, трассировка стека сбоя доступна в XML-файле, но не включена в отчет для обеспечения краткости — просмотр XML-файла с помощью текстового редактора должен предоставить подробную информацию о сбое теста (найдите тег [Test] , соответствующий неудавшемуся тесту, и найдите в нем тег [StackTrace] ).
Показать пример отчета об испытаниях CTS v2
Рисунок 4: Образец отчета об испытаниях CTS v2
Показать пример отчета об испытаниях CTS v1
Рисунок 5: Образец отчета об испытаниях CTS v1
Проверьте test_result.xml на наличие незавершенных тестовых модулей.
Чтобы определить количество незавершенных модулей в заданном сеансе тестирования, выполните команду «list results». Количество завершенных модулей и общее количество модулей указаны для каждого предыдущего сеанса. Чтобы определить, какие модули завершены, а какие нет, откройте файл test_result.xml и прочитайте значение атрибута «done» для каждого модуля в отчете о результатах. Модули со значением done = «false» не были завершены.
Неудачи сортировочного теста
Воспользуйтесь следующими рекомендациями для сортировки неудачных тестов.
- Проверьте, правильно ли настроена ваша среда CTS , если тест не пройден из-за неверных предварительных условий. Сюда входит физическая среда, настройка настольного компьютера и настройка устройства Android.
- Проверьте стабильность устройства, настройку теста или проблемы с окружающей средой, если тест выглядит чрезмерно нестабильным.
- Если тест по-прежнему не удался, повторите его отдельно.
- Проверьте внешние факторы, вызывающие сбои в тестировании, такие как:
- Настройка среды. Например, неправильно настроенная настройка настольного компьютера может стать причиной сбоев тестирования на всех тестируемых устройствах (DUT) (включая эталонные устройства).
- Внешние зависимости. Например, если тест не пройден на всех устройствах на нескольких сайтах, начиная с определенного момента времени, причиной может быть неверный URL.
- Если DUT не включает исправление безопасности, ожидается провал теста безопасности.
- Проверяйте и анализируйте различия между прошедшими и не прошедшими проверку устройствами.
- Проанализируйте утверждение, журнал, отчет об ошибке и источник CTS . Для HostTest утверждение и журнал могут быть очень общими, поэтому полезно также проверить и прикрепить logcat устройства.
- Отправьте исправление для улучшения тестирования, чтобы помочь сократить количество сбоев тестирования.
Сохранить частичные результаты
Tradefed не сохраняет частичные результаты теста, если вызов теста завершается неудачей.
Когда Tradefed не генерирует никаких результатов теста, это подразумевает, что во время тестового запуска возникла серьезная проблема, что делает результат теста ненадежным. Частичный результат считается бесполезным, поскольку он не представляет ценности при расследовании проблемы устройства.