Наука

Смысл слов в машинном разуме: как языковые модели учатся понимать оттенки

от

В процессе обучения модели наблюдается немонотонная зависимость между частотой употребления слова и его полисемией, достигающая пика примерно на $10^4$ шагах, при этом в малых моделях происходит коллапс семантической дифференциации и резкое расхождение количества полисемичных слов, в то время как компромисс между частотой и специфичностью сохраняется на протяжении всего обучения.

Новое исследование показывает, что способность больших языковых моделей различать значения слов меняется по мере обучения, демонстрируя неожиданную закономерность.

Генерируем изображения из текста без обучения: новый подход к визуальной инверсии

от

Для улучшения оптимизации визуальных композиций, система использует ближайших соседей, отобранных из набора данных MS-COCO, в качестве эталонных «якорей» ($z_{closest}$), направляя процесс генерации изображений к более реалистичным результатам, встречающимся в данных.

Исследователи предлагают метод генерации изображений по текстовому описанию, не требующий предварительного обучения специальных сетей, и демонстрируют его эффективность.

Обучение с подглядыванием: новый подход к машинному обучению с подкреплением

от

Наблюдается соответствие действий, определяемых политикой, экспертным оценкам на уровне отдельных штатов для алгоритмов AIRL (зеленый цвет) и H-AIRL (красный цвет) в задачах с дискретным пространством действий.

Исследователи представили метод Hybrid-AIRL, который сочетает в себе возможности обучения с подкреплением и экспертных оценок для более эффективного определения оптимальных стратегий.