Образцы протоколов испытаний программного обеспечения. Руководство по составлению

Протоколы испытаний программного обеспечения позволяют зафиксировать все этапы тестирования системы и оценить качество и надежность продукта. Соблюдение определенных стандартов при составлении таких протоколов крайне важно. В этой статье мы разберем основные требования к протоколам испытаний ПО, рассмотрим примеры их оформления и дадим пошаговое руководство по составлению.

Требования к протоколам испытаний ПО

Прежде чем приступать к разработке протокола, необходимо определить цели его составления:

• фиксация результатов испытаний ПО;
• анализ качества и надежности ПО;
• доказательство соответствия ПО заданным требованиям.

Существует ряд нормативных документов, регламентирующих требования к оформлению протоколов испытаний ПО:

ГОСТ Р ИСО/МЭК 12207-2010 «Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств»;

ГОСТ Р ИСО/МЭК 33063-2015 «Информационные технологии. Процессы жизненного цикла программных средств».

Обязательными реквизитами протокола являются:

1. наименование организации, проводящей испытания;
2. наименование испытываемого ПО и его идентификационные данные;
3. цель испытаний;
4. дата проведения испытаний;
5. условия, оборудование и методики испытаний;
6. результаты испытаний;
7. выводы и заключения.

Рекомендуемая структура и содержание протокола испытаний ПО

Рассмотрим рекомендуемую структуру и основные разделы протокола испытаний ПО:

Особенности протоколирования этапов испытаний ПО

При описании этапов испытаний в протоколе испытаний следует:

• детально фиксировать все действия тестировщиков;
• указывать точные данные об условиях испытаний;
• ссылаться на используемые тестовые сценарии и тест-кейсы.

Критерии оценки результатов испытаний ПО

Для оценки результатов испытаний обычно используются следующие критерии:

1. количество выявленных дефектов различных категорий;
2. показатели надежности и производительности;
3. процент выполнения тестов и реализованных проверок.

Примеры протоколов испытаний ПО

Давайте рассмотрим несколько конкретных образцов протоколов испытаний ПО.

Протокол функционального тестирования

В разделе цель испытаний будет указана проверка соответствия функционала модуля ПО предъявляемым требованиям. Далее подробно опишем тестовые сценарии, данные и результаты по каждому сценарию.

Протокол нагрузочного тестирования

Здесь в цели войдет оценка показателей производительности и надежности веб-приложения при возрастающей нагрузке. Будут указаны данные по количеству пользователей, времени отклика на разных этапах.

Использование протоколов испытаний ПО

Протоколы испытаний ПО можно использовать:

• для анализа качества ПО и устранения дефектов;
• в качестве доказательства соответствия ПО заданным требованиям;
• для оценки эффективности процесса тестирования.

Пример протокола испытаний ПО методом белого ящика

Рассмотрим пример протокола испытаний ПО, составленного с использованием метода белого ящика. В этом случае тестировщик имеет доступ к исходному коду и внутренней структуре ПО.

Цель испытаний

Целью данных испытаний является проверка работоспособности основных функций ПО и выявление дефектов на основе анализа кода.

Объект испытаний

Объектом испытаний является веб-приложение "Магазин", версия 1.0.0.

Методика испытаний

Испытания проводились методом сплошной проверки исходного кода с фокусом на ключевые функции и модули.

Результаты испытаний

В ходе анализа исходного кода выявлены следующие дефекты:

• Ошибка при расчете стоимости доставки
• Некорректная валидация данных на стороне сервера
• Уязвимость XSS на странице корзины

Подробное описание дефектов приведено в разделе "Перечень выявленных дефектов".

Требования к протоколам испытаний встраиваемого ПО

Существует ряд особенностей при тестировании и составлении протоколов испытаний для встраиваемого ПО, используемого в составе различных устройств и систем.

Требования к техническим характеристикам тестового стенда

Должно использоваться оборудование идентичное целевой аппаратной платформе. Например, для протоколов испытаний ПО электрооборудования.

Учет взаимодействия компонентов

Необходимо тестировать не только ПО, но и его взаимодействие с аппаратными компонентами платформы.

Требования к протоколам испытаний ПО для медицинских изделий

Существуют особые требования к протоколам испытаний ПО, которое используется в составе медицинских изделий.

Подтверждение безопасности

Образцы протоколов испытаний должны содержать результаты тестирования функций, отвечающих за безопасность пациентов и медперсонала.

Анализ рисков

Необходим анализ рисков использования ПО и оценка выявленных опасностей.

Соответствие стандартам

Обязательная проверка на соответствие ПО и протоколов испытаний стандартам IEC 62304, ISO 14971 и др.

Порядок проведения испытаний ПО

Рассмотрим пошаговую последовательность действий при проведении испытаний ПО и формировании протокола:

1. Планирование тестирования
2. Разработка тестовых сценариев и наборов данных
3. Подготовка тестового окружения
4. Выполнение тестовых сценариев
5. Сбор и анализ результатов
6. Формирование заключения
7. Оформление образца протокола

Рекомендации по доработке ПО по результатам испытаний

По результатам анализа протоколов испытаний ПО необходимо:

• Классифицировать выявленные дефекты по критичности
• Определить причины возникновения дефектов
• Провести доработки ПО по исправлению и профилактике дефектов.