Верификация и валидация моделей

Верификация и валидация моделей

1 Общая информация

• Верификация модели (Verification)

  • Процесс, подтверждающий, что вычислительная модель правильно решает математические уравнения, заложенные в её основу.
  • Вопрос: «Правильно ли мы решили уравнения?»

• Валидация модели (Validation)

  • Процесс, подтверждающий, что математическая модель (и её решение) с достаточной точностью описывает реальное физическое явление для заданной области применения.
  • Вопрос: «Правильные ли уравнения мы решили?»

• Нельзя валидировать модель, если она не верифицирована.

  • Сначала нужно убедиться, что код считает верно, и только потом проверять физический смысл результата.

2 Ключевое различие

• Представим, что решаем уравнение x^2 = 4 с помощью кода.

• Верификация

  • Проверяем, что метод (например, итерационный) действительно находит корень 2 без ошибок при полной точности вычислений.
  • Мы сравниваем код с математическим алгоритмом.

• Валидация

  • Проверяем, правильное ли уравнение мы выбрали.
  • Допустим, мы моделируем высоту полёта камня.
  • Уравнение x^2 = 4 — это модель.
  • Валидация покажет, что настоящий камень летит не по параболе x^2, а гораздо сложнее из-за сопротивления воздуха.
  • Значит, наша математическая модель (уравнение) невалидна, несмотря на идеально верифицированное решение.

3 Процесс работы

• Рассмотрим структуру процесса работы с моделью [1; 2].

• Реальность → (абстракция) → Концептуальная модель (уравнения, допущения) → (программирование) → Компьютерная модель (код) → (расчёт) → Результаты моделирования.

• Валидация концептуальной модели — проверка, верны ли наши допущения и уравнения. (Связь Реальность–Концептуальная модель).

• Верификация кода — проверка, что код точно решает концептуальную модель. (Связь Концептуальная модель–Компьютерная модель).

• Валидация результатов — сравнение готовых цифр с экспериментами. (Связь Компьютерная модель–Реальность).

4 Примеры

4.1 Моделирование обтекания крыла самолёта

• Верификация

  • Тест на сходимость
    • Расчёт аэродинамического сопротивления на нескольких сетках.
    • Если разница результатов между сетками мала (< 1%), то решение сходится.
  • Сравнение с аналитикой
    • Для модели плоской пластины существует точное решение уравнений Навье-Стокса.
    • Проводим моделирование плоской пластины и сравниваем с точным решением.

• Валидация

  • Сравнение с продувкой в аэродинамической трубе (физическое моделирование)
  • Лётные испытания

4.2 Эпидемиологическая модель (типа SIR)

• Верификация

  • Закон сохранения
    • В модели без рождаемости и смертности сумма популяций S + I + R должна быть постоянной на каждом шаге.
  • Тест на уменьшение шага
    • Решаем систему дифференциальных уравнений с разным шагом.
    • Если решение смещается незначительно, численная схема реализована верно.

• Валидация

  • Сравнение с историческими данными совпадают в пределах доверительного интервала.
  • Проверка адекватности структуры
    • Если модель предсказывает, что 150% населения переболеет, она невалидна концептуально.

5 Библиография

Литература