Нейросети предсказывают поведение атомов: новый подход к моделированию материалов

Автор: Денис Аветисян

Ученые разработали инновационную систему на основе графовых нейронных сетей, позволяющую с высокой точностью и эффективностью моделировать взаимодействие атомов в сложных материалах.

☕️

Читаем отчёты, пьём кофе, ждём дивиденды. Если тебе надоел хайп и ты ищешь скучную, но стабильную гавань — добро пожаловать.

Телеграм канал

На примере датасета QM7, исследование демонстрирует, что разработанная модель MLANet достигает высокой точности предсказания энергии, при этом зависимость средней абсолютной ошибки <span class="katex-eq" data-katex-display="false">MAE</span> от размера обучающей выборки демонстрирует сходимость, а использование различных максимальных порядков вращения <span class="katex-eq" data-katex-display="false">l_{max} \in \{1,2,3\}</span> позволяет оптимизировать баланс между вычислительными затратами, временем обучения и потреблением памяти. — На примере датасета QM7, исследование демонстрирует, что разработанная модель MLANet достигает высокой точности предсказания энергии, при этом зависимость средней абсолютной ошибки $MAE$ от размера обучающей выборки демонстрирует сходимость, а использование различных максимальных порядков вращения $l_{max} \in \{1,2,3\}$ позволяет оптимизировать баланс между вычислительными затратами, временем обучения и потреблением памяти.

Представленная архитектура MLANet обеспечивает баланс между точностью предсказаний, вычислительной эффективностью и стабильностью моделирования для крупномасштабных атомных симуляций.

Несмотря на значительный прогресс в моделировании межмолекулярных взаимодействий, традиционные эмпирические потенциалы уступают в точности, а методы ab initio требуют неприемлемых вычислительных затрат. В данной работе, посвященной разработке ‘Universal and efficient graph neural networks with dynamic attention for machine learning interatomic potentials’, представлена новая структура нейронной сети MLANet, использующая динамический механизм внимания для эффективного моделирования атомных сред. Этот подход позволяет достичь высокой точности предсказаний и вычислительной эффективности, обеспечивая стабильность при длительном моделировании динамики молекул. Сможет ли MLANet стать ключевым инструментом для проведения крупномасштабных, высокоточных атомных симуляций в различных областях науки и техники?

Пределы Традиционных Подходов к Моделированию Межатомных Взаимодействий

Точное моделирование межатомных потенциалов играет ключевую роль в открытии новых материалов, однако традиционные методы сталкиваются с серьезными ограничениями в точности и вычислительной стоимости. Классические подходы, основанные на ab initio расчетах, хоть и обеспечивают высокую точность для небольших систем, становятся непомерно затратными при моделировании материалов с большим числом атомов или при изучении динамических процессов. В результате, исследователям приходится идти на компромисс между точностью и скоростью, что часто приводит к неточным предсказаниям свойств материалов и замедляет процесс открытия. Поиск эффективных и точных методов моделирования межатомных взаимодействий, способных преодолеть эти ограничения, является одной из важнейших задач современной материаловедческой науки.

Существующие модели межатомных потенциалов, основанные на машинном обучении, часто демонстрируют недостаточную инвариантность и испытывают трудности с обобщением применительно к различным химическим средам. Эта проблема возникает из-за того, что многие MLIP-модели не способны адекватно учитывать симметрии, присущие атомным системам, что приводит к неточностям при прогнозировании энергии и сил в новых, ранее не исследованных конфигурациях. В результате, потенциалы, обученные на ограниченном наборе данных, могут показывать значительное снижение точности при экстраполяции на составы или структуры, отличные от тех, на которых они были созданы. Такая ограниченная переносимость существенно замедляет процесс открытия новых материалов, поскольку требует повторного обучения моделей для каждого нового химического окружения или состояния вещества.

Существенная проблема в создании точных межатомных потенциалов заключается в эффективном представлении сложных симметрий, присущих атомным системам. Неспособность адекватно учитывать эти симметрии приводит к снижению способности модели к обобщению и, как следствие, к ухудшению предсказательной силы в новых химических окружениях. Традиционные подходы часто требуют значительных вычислительных ресурсов для обеспечения необходимой инвариантности, а упрощения в представлении симметрий могут привести к нефизичным результатам и ошибкам в моделировании свойств материалов. Более того, недостаточный учет симметрий ограничивает возможность переноса обученной модели на системы, отличающиеся от тех, на которых она обучалась, что существенно затрудняет процесс открытия новых материалов с заданными характеристиками. Разработка методов, способных естественным и эффективным образом захватывать и учитывать эти симметрии, является ключевым шагом к созданию универсальных и точных межатомных потенциалов.

Разработка новых моделей межатомных потенциалов (MLIP), способных эффективно учитывать симметрии атомных систем, является критически важной задачей. Традиционные подходы часто испытывают трудности с обеспечением инвариантности по отношению к различным преобразованиям, что ограничивает их применимость и точность предсказаний в разнообразных химических средах. Новые MLIP-фреймворки стремятся к естественному и компактному кодированию этих симметрий, используя, например, $SO(n)$ -эквивариантные нейронные сети или представления, основанные на теории групп. Такой подход позволяет значительно повысить эффективность расчетов и обобщающую способность моделей, открывая возможности для более точного моделирования свойств материалов и ускорения процесса открытия новых соединений с заданными характеристиками.

Обучение MLANet на подмножестве Mptrj, содержащем литий, демонстрирует, что увеличение максимального порядка вращения <span class="katex-eq" data-katex-display="false">l_{max}</span> приводит к более точным предсказаниям энергии, силы и напряжения (измеряемым как MAE) при увеличении размера обучающей выборки, однако требует больше памяти и времени на эпоху. — Обучение MLANet на подмножестве Mptrj, содержащем литий, демонстрирует, что увеличение максимального порядка вращения $l_{max}$ приводит к более точным предсказаниям энергии, силы и напряжения (измеряемым как MAE) при увеличении размера обучающей выборки, однако требует больше памяти и времени на эпоху.

MLANet: Новая Архитектура, Уважающая Симметрию

MLANet представляет собой новую архитектуру, основанную на SE(3)-эквивариантных сетях. Это обеспечивает сохранение инвариантности к вращениям и трансляциям, что критически важно для обработки трехмерных данных, таких как молекулярные структуры. SE(3)-эквивариантность означает, что при вращении или перемещении входных данных, выходные данные модели преобразуются соответствующим образом, сохраняя физический смысл. В отличие от традиционных подходов, не учитывающих эти симметрии, MLANet использует эту фундаментальную особенность пространства для повышения точности и эффективности модели, а также снижения потребности в данных для обучения. Использование SE(3)-эквивариантности позволяет модели обобщать знания о молекулах, независимо от их ориентации в пространстве.

Архитектура MLANet использует механизм динамического внимания с двойным путем, ориентированный на геометрию, для адаптивной модуляции межatomных взаимодействий. Этот механизм обрабатывает информацию по двум параллельным ветвям: одна учитывает геометрические признаки, такие как расстояния и углы между атомами, а другая — химические характеристики атомов и связей. Сочетание выходных данных этих ветвей позволяет модели динамически взвешивать важность различных межatomных взаимодействий в зависимости от как геометрической конфигурации, так и химического состава, что способствует более точному предсказанию свойств молекул и материалов. $Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V$ — базовая формула внимания, адаптированная для учета как геометрических, так и химических характеристик.

В архитектуре MLANet реализован механизм многоперспективного пулинга (multi-perspective pooling) для агрегации графовых признаков. Данный подход позволяет комбинировать информацию, полученную из различных точек зрения на структуру графа, что снижает потерю информации при переходе от локальных к глобальным признакам. Вместо стандартного усреднения или максимального пулинга, многоперспективный пулинг учитывает различные аспекты графовой структуры, обеспечивая более полное представление данных и, как следствие, повышение общей производительности модели при решении задач, требующих учета глобального контекста.

В основе MLANet лежит эффективное кодирование симметрий посредством сферических гармоник и неприводимых представлений (irreps). Использование $irreps$ позволяет разложить тензорные поля, описывающие физические величины, на базисные функции, инвариантные относительно преобразований группы симметрии SE(3). Это приводит к значительному снижению вычислительной сложности, поскольку модель оперирует с меньшим числом параметров и требует меньше вычислений для достижения эквивариантности. Сферические гармоники, являясь ортогональной базой функций на сфере, обеспечивают компактное представление вращательно-инвариантных характеристик, что дополнительно оптимизирует вычислительные затраты и повышает эффективность модели при обработке данных, обладающих трехмерной структурой.

Сравнение предсказаний MLANet и расчетов DFT показывает, что модель MLANet точно воспроизводит энергетические поверхности и кривые связи двуслойного графена в различных конфигурациях стекирования (<span class="katex-eq" data-katex-display="false">AB</span>, <span class="katex-eq" data-katex-display="false">AA</span>, <span class="katex-eq" data-katex-display="false">SP</span>) и при разных межслойных расстояниях, подтверждая её способность к точному моделированию энергетических свойств. — Сравнение предсказаний MLANet и расчетов DFT показывает, что модель MLANet точно воспроизводит энергетические поверхности и кривые связи двуслойного графена в различных конфигурациях стекирования ( $AB$ , $AA$ , $SP$ ) и при разных межслойных расстояниях, подтверждая её способность к точному моделированию энергетических свойств.

Проверка и Оценка Производительности на Различных Материалах

Производительность MLANet была оценена путем сравнения с устоявшимися моделями машинного обучения потенциалов (MLIP) на стандартных наборах данных, таких как QM7 и MD17. Результаты бенчмаркинга продемонстрировали значительное улучшение точности предсказаний по сравнению с существующими подходами. В частности, MLANet показала более низкие значения среднеквадратичной ошибки (RMSE) и средней абсолютной ошибки (MAE) при предсказании энергий и сил, что подтверждает превосходство модели в задачах предсказания свойств материалов на этих стандартных наборах данных.

Для подтверждения эффективности модели MLANet проведены тесты на более сложных материалах, включая диоксид кремния (SiO₂), теллурид германия-сурьмы (Ge-Sb-Te) и черный фосфор. Результаты демонстрируют способность MLANet точно предсказывать энергии и силы взаимодействия в этих системах, что свидетельствует о применимости модели к широкому спектру материалов, выходящих за рамки стандартных наборов данных, таких как QM7 и MD17. Данная валидация позволяет оценить надежность и обобщающую способность модели при работе с реальными, сложными материалами.

В архитектуре MLANet для представления граничных признаков используются функции Бесселя, что позволяет повысить точность предсказания сил, особенно в сложных структурах. Использование функций Бесселя позволяет более эффективно кодировать информацию о геометрических свойствах атомов на границах расчетной области, что критически важно для точного расчета сил в системах с непериодическими границами или в системах, где взаимодействие между атомами на границах существенно. Повышение точности предсказания сил, достигаемое благодаря применению функций Бесселя, напрямую влияет на стабильность и достоверность результатов моделирования динамики молекулярных систем и проведения расчетов свойств материалов.

Испытания с использованием матрицы элементарной ячейки (Unit Cell Matrix) подтвердили способность MLANet точно моделировать периодические граничные условия. Данный подход позволяет корректно учитывать взаимодействия между атомами, находящимися на противоположных границах моделируемой области, что критически важно для предсказания свойств периодических материалов, таких как кристаллы. Результаты тестов показали, что MLANet демонстрирует высокую точность при расчете энергии и сил в системах с периодическими граничными условиями, что подтверждает его применимость для моделирования широкого спектра кристаллических материалов и предсказания их физических свойств.

При тестировании на наборе данных, представляющем молекулы воды, модель MLANet достигла среднеквадратичной ошибки (RMSE) энергии в 0.47 меВ/атом. Данный показатель является лучшим среди сравнимых моделей машинного обучения, применяемых для предсказания энергии молекулярных систем. Это свидетельствует о высокой точности MLANet в моделировании водородных связей и других взаимодействий, определяющих энергетическое состояние воды, и подтверждает её эффективность в задачах, требующих высокой точности предсказания энергии.

При тестировании на наборе данных по разложению формиата, модель MLANet продемонстрировала среднюю абсолютную ошибку (MAE) для предсказания сил в 44.9 мэВ/Å и среднюю абсолютную ошибку для предсказания энергии в 2.31 мэВ/атом. Эти показатели позволяют оценить точность модели в прогнозировании динамики химических реакций и энергетических характеристик системы, предоставляя количественные данные для сравнения с результатами, полученными другими методами машинного обучения в области моделирования молекулярной динамики.

При тестировании на наборе данных Na_8/9Cl+_8/9, MLANet продемонстрировал наименьшее значение среднеквадратичной ошибки (RMSE) по сравнению с другими моделями машинного обучения, которые включают в себя явные члены для учета электростатических взаимодействий на больших расстояниях. Этот результат указывает на способность MLANet эффективно моделировать сложные электростатические эффекты в ионных системах без необходимости явного включения долгоrange взаимодействий, что потенциально снижает вычислительные затраты и упрощает процесс моделирования.

Модель MLANet, включающая поправки на дальнодействующие взаимодействия, точно предсказывает кривые отслаивания фосфорена и аллотропных форм фосфора, согласуясь с данными DFT+MBD, что подтверждается анализом энергии в зависимости от межслоевого расстояния.

Взгляд в Будущее: Значение и Перспективы Развития

Разработанная MLANet демонстрирует значительный потенциал в ускорении процессов открытия и проектирования новых материалов за счет существенного снижения вычислительных затрат при проведении моделирования. Высокая точность и эффективность этой нейронной сети позволяют проводить симуляции, требующие ранее недоступных ресурсов, что открывает возможности для изучения более сложных материалов и предсказания их свойств с беспрецедентной скоростью. Снижение вычислительной нагрузки не только экономит время и энергию, но и позволяет исследователям проводить более масштабные и детальные исследования, расширяя горизонты материаловедения и способствуя созданию инновационных материалов с заданными характеристиками. Такой подход, основанный на машинном обучении, может кардинально изменить традиционные методы разработки материалов, переходя от трудоемких экспериментов к более эффективному и предсказуемому процессу моделирования.

Успешная демонстрация обобщающей способности MLANet на разнообразных материалах открывает значительные перспективы для создания переносимых потенциалов, применимых к более широкому спектру систем. В отличие от традиционных подходов, требующих переобучения для каждого нового материала, разработанный фреймворк демонстрирует способность эффективно экстраполировать знания, полученные на одних веществах, на другие, существенно сокращая вычислительные затраты и время, необходимые для моделирования новых материалов. Такая универсальность позволяет исследователям сфокусироваться на исследовании свойств материалов, а не на постоянной настройке и валидации моделей, что, в свою очередь, ускоряет процесс открытия и разработки инновационных материалов с заданными характеристиками. В перспективе, создание действительно переносимых потенциалов станет ключевым фактором в реализации масштабного моделирования материалов и предсказании их поведения в различных условиях.

Сравнение MLANet с другими SE(3)-эквивариантными моделями межмолекулярных потенциалов, такими как Allegro, NequIP, MACE и eSCN, выявило его конкурентоспособность и инновационный подход к построению потенциалов. Анализ производительности показал, что MLANet не только демонстрирует сопоставимую или превосходящую точность предсказаний энергии и сил, но и отличается оптимизированной архитектурой, позволяющей эффективно обрабатывать данные и снижать вычислительные затраты. В частности, инновационное использование $SE(3)$ -эквивариантных слоев и механизмов внимания позволило модели достичь баланса между точностью и скоростью расчетов, что делает ее привлекательным инструментом для моделирования сложных материалов и проведения крупномасштабных молекулярно-динамических симуляций.

Исследования показали, что MLANet демонстрирует значительное ускорение в молекулярно-динамических (МД) симуляциях, достигая в отдельных случаях десятикратного увеличения скорости по сравнению с моделями, такими как NequIP. Это существенное повышение производительности обусловлено оптимизированной архитектурой MLANet и эффективной реализацией принципов SE(3)-эквивариантности, что позволяет значительно сократить вычислительные затраты при моделировании сложных материалов. Более быстрая обработка данных позволяет исследователям быстрее проверять гипотезы и проводить итеративный дизайн новых материалов с заданными характеристиками.

Дальнейшие исследования MLANet направлены на расширение возможностей модели для работы с материалами, обладающими ещё большей структурной сложностью и разнообразием химического состава. Особое внимание будет уделено интеграции стратегий активного обучения, позволяющих модели самостоятельно определять наиболее информативные данные для обучения и, таким образом, значительно повышать точность и эффективность расчётов при меньших вычислительных затратах. Предполагается, что комбинация расширенной функциональности и адаптивного подхода к обучению позволит MLANet стать ключевым инструментом в ускорении открытия и проектирования новых материалов с заданными свойствами, преодолевая ограничения традиционных методов моделирования.

Сравнение производительности предсказания сил (MAE), стабильности молекулярной динамики и вычислительной скорости для малых молекул показывает, что все метрики нормализованы к максимальным значениям, а тесты скорости проводились на GPU NVIDIA V100 (подробные числовые данные представлены в Доп. материалах, Таблица S3).

Представленная работа демонстрирует стремление к созданию систем, способных адаптироваться и эволюционировать во времени, что находит отклик в философии Дональда Дэвиса. Он утверждал: «Все системы стареют — вопрос лишь в том, делают ли они достойно». MLANet, представленный в статье, можно рассматривать как попытку создать именно такую «достойную» систему для моделирования межatomных потенциалов. Вместо того, чтобы стремиться к абсолютной точности как к конечной цели, разработка фокусируется на достижении баланса между точностью, вычислительной эффективностью и стабильностью симуляций, признавая, что истинная ценность системы проявляется в её способности поддерживать функциональность на протяжении всего жизненного цикла. Это согласуется с идеей о том, что время — это не просто метрика для измерения производительности, а среда, в которой система сталкивается с ошибками и, следовательно, имеет возможность учиться и совершенствоваться.

Что дальше?

Представленная работа, подобно любому тщательно выстроенному механизму, лишь запечатлела момент времени. Подобно хроникам жизни системы, логирование данных и построение MLANet — это не финал, а скорее, подробный отчёт о текущем состоянии. Вопрос заключается не в достижении абсолютной точности предсказания межatomных потенциалов, а в понимании того, как эта точность деградирует во времени, и как сохранить стабильность симуляций на больших масштабах. Развертывание модели — лишь мгновение на оси времени, за которым неизбежно последует эрозия и потребность в адаптации.

Остается открытым вопрос о принципиальной возможности создания универсальной модели, не требующей постоянной перенастройки и оптимизации под конкретные системы. Упор на вычислительную эффективность, безусловно, важен, однако истинным вызовом является разработка методов, способных предвидеть и компенсировать накопление ошибок во времени, подобно механизмам самовосстановления в биологических системах.

Будущие исследования, вероятно, будут направлены на интеграцию принципов нечёткой логики и вероятностного моделирования для оценки неопределенности предсказаний. В конечном счете, все системы стареют — вопрос лишь в том, делают ли они это достойно, сохраняя свою предсказательную силу и стабильность даже в условиях неизбежной энтропии.

Оригинал статьи: https://arxiv.org/pdf/2603.22810.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-25 21:34