Машинное обучение в задачах электродинамики

Машинное обучение в задачах электродинамики.

1 Прямое моделирование

• Прямое моделирование задач электродинамики (electromagnetic forward modeling, EMFD) является универсальным инструментом для теоретических исследований и инженерных приложений в области электромагнетизма.
• Обычно применяемые вычислительные алгоритмы для EMFD включают:
  • метод конечных элементов (FEM),
  • метод конечных разностей (FDM),
  • метод моментов (MoM).
• Прямое моделирование выполняется путём решения основных уравнений, сформулированных в форме дифференциальных или интегральных уравнений.
• Процесс решения обычно включает дискретизацию и преобразование сформулированных основных уравнений в линейную систему матричных уравнений.
• Это приводит к большому количеству неизвестных, большим вычислительным затратам и огромной нагрузке на память.
• Эффективность вычислений давно является ключевым вопросом.
• Одним из важных подходов к ускорению является сокращение избыточных вычислений на основе физических законов:
  • сопряжённое градиентное быстрое преобразование Фурье,
  • метод адаптивного интеграла,
  • метод быстрых мультиполей,
  • метод декомпозиции области и т. д.
• Другой подход состоит в том, чтобы разделить все вычисления на онлайн- и офлайн-части, где офлайн-вычисления могут снизить вычислительную нагрузку в режиме онлайн и ещё больше ускорить онлайн-вычисления, например:
  • метод сокращённого базиса,
  • метод, основанный на машинном обучении.
• Параллельные вычисления широко применяются для повышения эффективности вычислений.
• Скорость параллельных вычислений дополнительно ограничивается архитектурными факторами (например, скоростью связи между между вычислительными ядрами и памятью в одном узле ЦП).
• Быстрое развитие графических процессоров (GPU) привело к взрывному росту технологий глубокого обучения (DL), позволив оптимизировать крупномасштабные глубокие нейронные сети (DNN).
• DL добилась революционного вклада в обработку изображений, речи и видео и привела к значительным улучшениям в соответствующих алгоритмах.
• Существует связь между DL и обыкновенными дифференциальными уравнениями (ОДУ), уравнениями в частных производных (УЧП).
• DL может помочь устранить проклятие размерности при решении ОДУ/УЧП.
• Теория ОДУ/УЧП может дополнительно помочь улучшить надёжность и интерпретируемость DL.
• DL может изучать и фиксировать точные физические законы для моделирования соответствующих физических явлений, таких как
  • гамильтонова нейронная сеть, основанная на гамильтоновой механике,
  • симплектические рекуррентные нейронные сети, объединенные с симплектической интеграцией,
  • лагранжевы нейронные сети, имитирующие лагранжианы и т. д.
• Вычислительная гидродинамика обычно требует решения многомерных, нелинейных, невыпуклых и многомасштабных задач, и именно в этом DL превосходит других.
• DL посвящен решению проблем, которые трудно решить традиционными методами CFD, которые можно разделить на три типа.
  • Первый заключается в применении DL для решения условий замыкания для повышения точности CFD за счет использования аппроксимационной способности DL.
  • Во-вторых, DL может напрямую решать основные уравнения гидродинамики, включая уравнения Навье-Стокса или уравнения Эйлера, избегая итерационного процесса традиционных методов CFD.
  • В-третьих, DL можно объединить с традиционными методами CFD для повышения эффективности и точности вычислений.
• Успешные применения DL в обработке изображений, видео и речи, особенно в прикладной математике, физике, технике, делают DL многообещающим кандидатом для быстрого и эффективного EMFD.
• До появления DL методы машинного обучения (ML) применялись для ускорения EMFD путем обучения в автономном режиме и ускорения в режиме онлайн, например, проектирование микроволновых схем, проектирование антенн, микроволновое обнаружение и т. д. с небольшими наборами параметров.
• ML обладает ограниченной способностью к обучению и аппроксимации, что еще больше ограничивает возможности применения и производительность ML.
• DL может похвастаться высокой способностью к обучению и способностью к аппроксимации по сравнению с традиционными методами машинного обучения, поскольку DL обычно имеет огромный набор параметров, который можно точно настроить с помощью алгоритмов стохастической оптимизации и массивных параллельных вычислительных платформ (GPU).
• В последнее время сообщалось о многих работах по включению DL в традиционные вычислительные электромагнитные алгоритмы ускорения, такие как MoM и FDTD.
• По сравнению с традиционным EMFD, который строит и решает математические или физические модели, используя уравнение Максвелла в качестве отправной точки, DL учится абстрагировать внутренние физические законы из большого количества электромагнитных данных.
• Фактически, конечная цель DL и EMFD одна и та же, и ее можно резюмировать как точность вычислений, эффективность вычислений и обобщение.

2 DL и дифференциальные уравнения

• Дифференциальные уравнения — важные инструменты для моделирования физических явлений в обширных областях физики и техники, включая обыкновенные дифференциальные уравнения и уравнения в частных производных.
• Связь между DL и ОДУ/УЧП широко исследовалась во многих зрелых областях, основанных на нелинейных ОДУ/УЧП.
• Искусственные нейронные сети (ИНС) уже использовались для численного решения ОДУ/УЧП до бурного развития DL.
• Общий подход методов, основанных на ИНС, заключается в изучении прямых сопоставлений между решениями и соответствующими переменными ОДУ/УЧП, но производительность ограничена масштабом параметров ИНС и вычислительных платформ.
• С развитием DL многие работы посвящены применению DL для решения различных ОДУ/УЧП в области физики и техники.
• Сверточные нейронные сети (CNN) могут решать уравнение Шредингера для прогнозирования энергии основного состояния электрона.
• Вариационный квантовый метод Монте-Карло применяется для обучения анзаца волновой функции на основе DNN как решения электронного уравнения Шредингера.
• Уравнения Навье-Стокса решаются с помощью методов глубокого обучения для моделирования динамики потока.