Верификация моделей - важный этап в разработке надежных IT-систем. Эта процедура позволяет убедиться, что модель адекватно описывает реальный объект. Давайте разберемся, что такое верификация, зачем она нужна и как проводится на практике.
Определение верификации модели
Верификация модели - это подтверждение ее адекватности по отношению к моделируемому объекту или процессу.
Формальное определение верификации модели таково: "Верификация модели - проверка ее истинности, адекватности. В отношении к дескриптивным моделям верификация модели сводится к сопоставлению расчетных результатов по модели с соответствующими данными действительности — массовыми фактами и закономерностями".
Основная цель процесса верификации - определить, насколько точно математическая модель, реализованная в виде компьютерной программы, описывает реально существующий или проектируемый объект.
Верификация отличается от валидации, которая сравнивает результаты моделирования с данными натурных испытаний или эксплуатации.
Зачем нужна верификация
Проведение верификации моделей необходимо по ряду причин:
- Повышение достоверности результатов моделирования, снижение риска ошибок
- Снижение рисков и издержек при промышленном внедрении разработанных систем
- Соответствие систем разработки современным стандартам качества (CMMI, ISO)
Пример последствий ошибки в модели - крушение ракеты-носителя Ariane 5. Причина аварии была в переполнении буфера данных, которое программисты просто не предусмотрели в модели.
Верификация и валидация моделей
Хотя понятия "верификация" и "валидация" часто употребляются как синонимы, между ними есть принципиальное различие:
| Верификация | Валидация |
| Подтверждение корректности модели | Подтверждение адекватности модели |
| Сравнение с эталонными данными | Сравнение с реальными данными |
Несмотря на различия, эти процессы тесно взаимосвязаны. Валидация имеет смысл, только если модель предварительно верифицирована.
Верификация на практике
На практике для верификации моделей используются следующие основные подходы:
- Тестирование модели на эталонных или специально подобранных данных
- Сравнение результатов моделирования с аналитическим решением тестовых задач
- Анализ чувствительности решения к параметрам моделирования (размер сетки, шаг и т.д.)
Математические модели и методы верификации
Для математической модели и методы верификации подразумевают:
- Проверку корректности реализации математических расчетов
- Верификацию правильности дискретизации континуальных моделей
Верификация программных моделей
В случае программных моделей и приложений используются такие подходы, как:
- верификация моделей расчета var - подтверждение качества исходного кода
- Регрессионное тестирование после изменений в коде
- Статический анализ исходного кода на наличие уязвимостей
Формальные методы верификации
Существуют формальные математические методы верификации программных моделей, основанные, например, на использовании темпоральной логики для описания поведения системы во времени. Однако на практике они пока ограниченно применяются из-за сложности.
Математический аппарат верификации моделей
Помимо упомянутых подходов, для верификации моделей может использоваться формальный математический аппарат верификации моделей. К нему относятся:
- Методы доказательства теорем
- Техники проверки моделей (model checking)
- Логический вывод на основе исчисления предикатов
Однако применение подобного формального аппарата на практике пока затруднено в силу его громоздкости и высокой ресурсоемкости.
Критерии успешной верификации
Чтобы считать верификацию успешно проведенной, необходимо определить заранее критерии оценки ее результатов. К таким критериям могут относиться:
- Допустимый уровень расхождения с эталонными данными
- Требуемая точность вычислений
- Необходимая полнота тестового покрытия
Повышение эффективности верификации
Эффективность процесса верификации моделей можно повысить с помощью:
- Автоматизации рутинных проверок
- Методов планирования эксперимента при тестировании
- Применения сквозной верификации на всех этапах разработки
Ограничения верификации
Существуют принципиальные ограничения процесса верификации:
- Невозможность перебора всех сценариев при тестировании
- Субъективность в оценке результатов
Верификация на этапе требований
Уже на начальном этапе разработки требований целесообразно проводить их верификацию. Это позволяет:
- Выявить противоречия и неоднозначности
- Проверить тестируемость требований для последующей верификации
- Оценить реализуемость и адекватность требований
Ручная и автоматизированная верификация
Верификация может выполняться как вручную, так и с применением автоматизированных средств. К преимуществам автоматизации относятся:
- Сокращение трудозатрат
- Повышение полноты тестирования
- Ускорение регрессионного тестирования
Инспекция в процессе верификации
Экспертная инспекция кода и документации позволяет выявить дефекты, которые сложно обнаружить автоматизированными методами. Преимущества инспекций:
- Высокая эффективность по выявлению дефектов
- Обнаружение системных ошибок на ранних фазах
- Развитие навыков у участников инспекций
Непрерывная верификация
Применение непрерывной верификации на всех этапах ЖЦ разработки позволяет:
- Снизить накопление дефектов
- Повысить стабильность и предсказуемость процесса
Верификация и оптимизация модели
При разработке критичных систем важно разумно сбалансировать усилия на верификацию и оптимизацию модели:
- Чрезмерная оптимизация может снизить надежность
- Избыточная верификация замедляет выход на рынок
Разберемся, в каких сферах нужна верификация:
- Верификация моделей в машиностроении. В машиностроении верификация активно применяется при проектировании ответственных деталей и узлов. Например, для верификации прочностных расчетов можно использовать сравнение с аналитическими решениями тестовых задач.
- Верификация программных систем. В разработке ПО верификация выполняется на всех уровнях - от исходного кода до требований. Применяются методы статического анализа, динамического тестирования, инспекций.
- Верификация в медицине. В медицинских исследованиях для верификации компьютерных моделей сравнивают результаты моделирования с данными клинических испытаний препаратов.
- Верификация финансовых моделей. Финансовые модели верифицируют, сравнивая прогнозные показатели с фактическими данными за прошлые периоды.
- Верификация научных гипотез. Научные гипотезы проверяют путем сравнения выводов из моделей с экспериментальными данными и наблюдениями.
Международные стандарты по верификации
Существуют международные стандарты в области верификации (ISO, IEEE), определяющие требования и процедуры верификации программных и информационных систем.
Верификация и жизненный цикл разработки
Верификация должна выполняться на всех этапах жизненного цикла разработки системы:
- На этапе требований
- При проектировании архитектуры
- В процессе кодирования
- При тестировании системы
Это позволяет своевременно выявлять и устранять дефекты, не допуская их накопления.
Стоимость верификации на разных этапах
Чем позже выявляется дефект в ходе разработки, тем дороже обходится его исправление. Поэтому крайне важно проводить верификацию на ранних стадиях.
- Риск-ориентированная верификация. Для повышения эффективности процесса верификации целесообразно сосредоточить усилия на проверке наиболее ответственных и рискованных элементов системы.
- Верификация и технический долг. Незавершенная или некачественная верификация приводит к накоплению технического долга, что впоследствии сказывается на поддерживаемости и развитии системы.
- Компромиссы при верификации. Зачастую требуется искать разумный баланс между затратами на верификацию и получаемой от нее пользой с учетом рисков, сроков, бюджета.
Автоматизация верификации
Применение инструментов автоматизированного тестирования и статического анализа кода позволяет значительно повысить эффективность верификации за счет:
- Сокращения трудозатрат
- Повышения полноты тестирования
- Ускорения регрессионной проверки
Пределы автоматизации верификации
Однако возможности автоматизации не безграничны. Требуется комбинирование ручных и автоматизированных методов проверки. К ограничениям относятся:
- Сложность формализации экспертных знаний
- Невозможность моделирования всего многообразия ситуаций
Новые методы верификации
Активно ведутся исследования в области разработки новых эффективных методов верификации, основанных на:
- Машинном обучении
- Технологиях распределенных реестров
- Формальных методах
Компетенции в области верификации
Для качественного выполнения работ по верификации требуется наличие специалистов, обладающих знаниями как предметной области, так и методов верификации.
Сертификация на соответствие стандартам
Прохождение сертификации на соответствие международным и отраслевым стандартам (CMMI, ISO) обеспечивает признание зрелости процессов верификации в компании.
