Настройка данных, собранных в протоколе тестирования

В протоколе тестирования отображаются события, произошедшие во время выполнения. Настраивая уровень детализации информации, получаемой при выполнении расписания, можно указать, будете ли вы получать статистические данные о времени отдельных ответов для отчетов Процентили страницы, а также информацию о точках проверки. Можно задать уровень детализации по каждому типу событий: ошибки, предупреждения и другие события.

Об этой задаче

Уровень детализации собираемой информации непосредственно влияет на размер протокола. В зависимости от выбранного параметра, размеры протоколов могут быть достаточно большими. Ограничив уровень детализации протокола и собирая информацию из репрезентативной выборки пользователей, можно уменьшить размер протокола, при этом располагая достаточным количеством информации для анализа.

Например, при отладке теста можно задать для всех трех полей раздела Что регистрировать в протоколе значение Все или Подробные сведения о действии. Эти настройки ведут к созданию протоколов больших размеров, особенно если выполняются продолжительные тесты или если запускается большое количество пользователей. В свою очередь, увеличение размеров протоколов тестирования ведет к увеличению времени их передачи и даже может повлечь за собой исчерпание свободного дискового пространства компьютера или исчерпание памяти на компьютере агента. Для того чтобы сократить время передачи и уменьшить вероятность исчерпания дискового пространства, необходимо использовать информацию выборки из очень небольшого подмножества пользователей - даже меньшего, чем применяемое по умолчанию значение, равное 5 пользователям из каждой группы. Фиксированная доля выборки помещает в выборку одинаковое число виртуальных пользователей из каждой группы. Процентное значение доли выборки помещает в выборку определенный процент виртуальных пользователей из каждой группы, но при этом из каждой группы в выборку обязательно будет помещен хотя бы один пользователь.

Процедура

Для того чтобы задать количество информации, собранной в протоколе тестирования, и долю выборки, выполните следующие действия:

  1. В Навигаторе тестов выберите расписание и дважды щелкните на нем. Откроется расписание.
  2. В области Содержание расписания щелкните на имени расписания.
  3. На странице Протокол тестирования выберите типы событий, информацию о которых необходимо получать, в разделе Что регистрировать в протоколе. Можно собирать информацию только об ошибках, об ошибках и предупреждениях или обо всех событиях. Другими словами, опции Также показывать предупреждения и Также показывать все остальные типы событий недоступны, пока не будет выбрана опция Показывать ошибки и сбои. Аналогичным образом, опция Также показывать все остальные типы событий недоступна, пока не будет выбрана опция Также показывать предупреждения. Если в разделе Что регистрировать в протоколе не выбран ни один из переключателей, события в протоколе тестирования не регистрируются.
  4. Для каждого типа событий установите Уровень протокола, выбрав одну из следующих опций:
    Опция Описание
    Действия расписания Выполняется сбор информации о событиях, соответствующих действиям, выполняемым в расписании:
    • Полный вердикт расписания. Вердикт может иметь одно из значений:
      • Успех означает, что все точки проверки соответствовали ожидаемому ответу или получили его. Например, точке проверки кода ответа присваивается УСПЕХ, если во время воспроизведения получен записанный код ответа. Если тест не содержит точек проверки, то УСПЕХ означает, что все основные запросы в тесте были успешно выполнены.
      • Сбой означает, что по крайней мере одна точка проверки не соответствовала ожидаемому ответу или ожидаемый ответ не получен.
      • Ошибка означает один из следующих результатов: основной запрос не был успешно отправлен серверу, от сервера не был получен ответ на основной запрос или ответ на основной запрос был неполным или синтаксически неправильным.
    • Время запуска и остановки расписания, каждой группы пользователей, каждого виртуального пользователя и каждого вызова теста.
    • Время запуска и остановки каждой итерации цикла, если циклы заданы в расписании.
    • Время запуска и остановки каждого селектора, если селекторы заданы в расписании.
    Основные действия теста Как правило, для сбора данных устанавливается именно этот уровень. Основные действия теста включают в себя действия расписания, а также следующие действия:
    • Вердикт теста, события запуска и остановки теста.
    • Если в тесте есть циклы, события запуска и остановки итераций циклов.
    • Если в тесте есть транзакции, события запуска и остановки транзакций.
    • Для тестов HTTP, точки проверки заголовков страниц. Благодаря этой опции, можно просматривать все заданные точки проверки заголовков страниц. Выполняется сбор информации о следующих событиях:
      • Вердикт страницы. Вердикт страницы отображается только в случае неполадки соединения, или если заданы точки проверки. Любые сбои или ошибки сворачиваются до уровня вердикта теста.
      • Время запуска и остановки каждой страницы.
      • Время запуска и остановки каждого цикла, а также число итераций каждого цикла, если циклы заданы на странице.
      • Время запуска и остановки каждой транзакции, а также длительность каждой транзакции, если в тесте заданы транзакции на уровне страницы.
    • Для тестов SAP, информация окон SAP, например, точки проверки заголовка окна SAP.
    • Для тестов Citrix, элементы соединения, события окна и синхронизация изображений
    • Для тестов сокета, элементы подключения, отправки, приема и закрытия.
    Дополнительные действия теста Дополнительные действия теста включают в себя основные действия теста с добавлением следующей информации:
    • Для тестов HTTP, события уровня запроса. Для сбора информации о коде ответа или о заданных точках проверки размера ответа установите этот или более высокий уровень детализации при сборе данных.
      • Время отправки первого и последнего байта.
      • Время получения первого и последнего байта.
      • Набор символов данных ответа.
      • Ожидаемые и фактические значения заданных точек проверки на уровне страницы.
      • События ожидания HTTP.
      • Время запуска и остановки каждой транзакции, а также длительность каждой транзакции, если в тесте заданы транзакции на уровне запроса.
    • Для тестов SAP, информация об элементе SAP (в основном, действия Задать свойство или Вызвать метод).
    • Для тестов Citrix, точки синхронизации, задержки, текстовые элементы и элементы выхода из системы.
    • Для тестов сокета эта опция не применяется.
    Подробные сведения о действии Подробные сведения о действии включают в себя дополнительные действия теста, а также следующую информацию:
    • Для тестов HTTP, данные запросов и ответов; например, заголовки HTTP и данные любых запросов.
    • Для тестов SAP, информация о времени ожидания.
    • Для тестов Citrix, информация о времени ожидания, действия мыши и клавиатуры.
    • Для тестов сокета эта опция не применяется.
    Все Для тестов HTTP, SAP и Citrix опции Все и Подробные сведения о действии предоставляют одну и ту же информацию.

    Поскольку сокет отправляет и получает действия, переданные данные также доступны в тестовом журнале посредством присоединений.

  5. Для того чтобы задать долю выборки, выберите опцию Только информация выборки из подмножества пользователей. Выбранное число или процентное значение применяется ко всем группам пользователей. При выполнении групп пользователей в удаленных расположениях (то есть, на компьютерах агента), выбранное число или процентное значение распределяется равномерно среди всех расположений.
    Опция Описание
    Фиксированное число пользователей Это число применяется ко всем группам пользователей. Допустим, в расписании имеется две группы пользователей. В одной из них четыре пользователя, а в другой - 1000. Если задать для этой опции значение 2, то из каждой группы будет выбрано по два пользователя.
    Процентная доля пользователей Это процентное значение применяется ко всем группам пользователей, но из каждой группы будет выбран как минимум один пользователь. Допустим, в расписании имеется две группы пользователей. В одной из них четыре пользователя, а в другой - 1000. Если доля выборки равна 10%, то из первой группы будет взят один пользователь, а из второй - 100. Если доля выборки равна 25%, то из первой группы будет взят один пользователь, а из второй - 250.

Пример

Установка по умолчанию, согласно которой в протоколе регистрируются все ошибки и предупреждения, а также основные действия тестирования, соответствует большинству целей. Тем не менее, в протоколе можно регистрировать информацию любого типа, можно также полностью отказаться от регистрации информации или задать получение информации от всех пользователей, хотя ни одну из этих двух ситуаций нельзя назвать типичной. При отладке теста можно задать для всех трех полей раздела Что регистрировать в протоколе значение Все или Подробные сведения о действии. Эти настройки ведут к созданию протоколов больших размеров, особенно если выполняются продолжительные тесты или если запускается большое количество пользователей. В свою очередь, увеличение размеров протоколов тестирования ведет к увеличению времени их передачи и даже может повлечь за собой исчерпание свободного дискового пространства компьютера.

Комментарии