Трансформеры учатся у лучших: новая теория обучения
Исследователи доказали, что даже простые трансформеры, обученные методом градиентного спуска, способны эффективно воспроизводить знания широкого класса более сложных моделей.
Исследователи доказали, что даже простые трансформеры, обученные методом градиентного спуска, способны эффективно воспроизводить знания широкого класса более сложных моделей.

Исследователи предлагают инновационную модель на основе трансформеров и деревьев распространения информации для более точного определения правдивости новостей в социальных сетях.
![На примере датасета QM7, исследование демонстрирует, что разработанная модель MLANet достигает высокой точности предсказания энергии, при этом зависимость средней абсолютной ошибки [latex]MAE[/latex] от размера обучающей выборки демонстрирует сходимость, а использование различных максимальных порядков вращения [latex]l_{max} \in \{1,2,3\}[/latex] позволяет оптимизировать баланс между вычислительными затратами, временем обучения и потреблением памяти.](https://arxiv.org/html/2603.22810v1/x2.png)
Ученые разработали инновационную систему на основе графовых нейронных сетей, позволяющую с высокой точностью и эффективностью моделировать взаимодействие атомов в сложных материалах.

Ученые разработали систему, использующую искусственный интеллект для автоматического определения параметров кристаллов по данным рентгеновской дифракции.

Исследование демонстрирует, что системы обнаружения вторжений в сетях IoT уязвимы к целенаправленным атакам, использующим специально сформированный трафик.