Понимание «черного ящика»: Новый метод интерпретации NLP-моделей

В отличие от существующих методов, основанных на внесении возмущений на уровне слов с использованием специальных токенов для обозначения пропусков, представленный подход MASE расширяет пространство возмущений от бинарного к евклидову, воздействуя непосредственно на векторные представления слов, что обеспечивает более точное описание локального поведения целевой модели.

Исследователи предлагают инновационный подход к объяснению работы моделей обработки естественного языка, позволяющий понять, на что именно они обращают внимание при принятии решений.