Вопросо-ответные подходы в таргетированном анализе тональности

Соломатина Юлиана

Группа НС 234

​

Курс «Нейронные сети и их применение в научных исследованиях»

Вопросо-ответные подходы в таргетированном анализе тональности

• При анализе тональности необходимо учитывать отношения между участниками ситуации (таргетированный анализ)
• Исследований по данной теме на русскоязычном материале с применением современных подходов крайне мало
• Новостные тексты: преобладание нейтральных тональностей, имплицитные оценки
• Соревнование RuSentNE-2023: задача извлечения из новостных текстов тональности по отношению к заранее размеченным сущностям типа PERSON, ORGANIZATION, PROFESSION, COUNTRY, NATIONALITY в предложении

​

​

Актуальность

Вопросо-ответные подходы в таргетированном анализе тональности

• Цель: Автоматическое распознавание тональности и ее источника для именованных сущностей в предложении c использованием датасета RuSentNE на основе дообученной моделей семейства BERT

​

• Задачи:�- распарсить данные;�- провести предобработку данных с учетом их несбалансированности;�- протестировать подводки, составленные вручную (hard prompts);�- протестировать обучаемые подводки (soft prompts);�- произвести интерпретацию результатов.

​

​

​

Цель и задачи исследования

Вопросо-ответные подходы в таргетированном анализе тональности

• Датасет RuSentNE: тексты из Wikinews с размеченными именованными сущностями и отношениями между ними

Данные

Вопросо-ответные подходы в таргетированном анализе тональности

• Размер датасета: 12 245 пар «сущность – предложение»

​

Статистика по датасету

Вопросо-ответные подходы в таргетированном анализе тональности

• Кросс-валидация на трех фиксированных разбиениях (70/30)
• Тестирование на выборках из соревнования RuSentNE-2023
• Метрики:�- F_avg – усреднение по трем классам� - F(pos, neg)_avg – усреднение негативному и позитивному классам
• Базовая модель: BERT для классификации без учета сущностей
• Результат для базовой модели:

F_avg = 56.71 F(pos, neg)_avg = 40.92

​

​

Оценка качества

Вопросо-ответные подходы в таргетированном анализе тональности

​

​

Эксперименты с подводками, подобранными вручную

• размер батча: 16
• количество эпох: 10
• функция потерь: кросс-энтропия
• оптимизатор: AdamW

Вопросо-ответные подходы в таргетированном анализе тональности

• ​

​

Результаты

• При прочих равных ruRoBERTa дает лучшие результаты, чем ruBERT
• Важнее правильно объяснить модели задачу (подобрать подводку), чем восполнить дисбаланс

Вопросо-ответные подходы в таргетированном анализе тональности

• Проблема: поиск оптимальной подводки вручную и сложность интерпретации результата

• Решение: замена эмбеддингов токенов подводки на обучаемые вектора

​

• Способы моделировать вектора: �- слой Embedding, веса которого инициализируются токенами из заданной вручную подводки;�- LSTM + MLP.

​

​

Prompt Tuning

Вопросо-ответные подходы в таргетированном анализе тональности

• Основная идея: модель предсказывает не только слово, соответствующее метке класса, но и вспомогательные токены (subprompts), характеризующие каждый из классов

​

• Метка класса присваивается на основе логических правил (конъюнктивная нормальная форма) и конкатенации предсказаний вспомогательных токенов

​

Prompt Tuning with Rules

Вопросо-ответные подходы в таргетированном анализе тональности

Эксперимент со смешанным шаблоном

​

• Шаблон:

{"soft": "Какое отношение выражено к"} {"placeholder":"text_a"} {"soft": "в предложении "} {"placeholder":"text_b"}: {"text": "отрицательное, положительное или нейтральное"}? {"soft": "Отношение в данном предложении к"}{"placeholder":"text_a"}{"mask"}’

​

• Вербализатор: списки названий классов

​

​

soft – обучаемые токены text_b – предложение

text – фиксированные токены text_a – сущность

mask – слово под маской

Вопросо-ответные подходы в таргетированном анализе тональности

Эксперименты на основе подводок с правилами

Вопросо-ответные подходы в таргетированном анализе тональности

Результаты

Вопросо-ответные подходы в таргетированном анализе тональности

Эксперимент с расширением вербализатора

​

• Основная идея: расширение вербализатора с помощью внешних лингвистических ресурсов – словаря RuSentiLex и фреймов RuSentiFrames
• Шаблон:

{"soft": "Какие слова описывают тональность отношения к "} {"placeholder": "text_a"}{"soft": " в новостном тексте "}

{"placeholder": "text_b"}?{"mask"}

• Примеры слов:

позор, убийство, зло -> негативный класс

любовь, благодарить, приветствие ->позитивный класс

​

Вопросо-ответные подходы в таргетированном анализе тональности

Результаты

​

​

​

• На кросс-валидации

• На тестовой выборке RuSentNE-2023

Вопросо-ответные подходы в таргетированном анализе тональности

Итоги соревнования RuSentNE-2023

​

​

​

Вопросо-ответные подходы в таргетированном анализе тональности

Анализ интерпретируемости

​

​

Вопросо-ответные подходы в таргетированном анализе тональности

• Исследовалась задача таргетированного анализа тональности
• Для данной задачи важнее изучать разные форматы работы с текстовыми подводками, нежели концентрироваться на борьбе с дисбалансом
• Модели с обучаемыми подводками демонстрируют лучшее качество, в особенности для позитивных и негативных тональностей
• Наилучший результат продемонстрировала модель, использующая внешние ресурсы для формирования вербализатора
• Анализ интерпретируемости с помощью LIME показал, что разные структура входных данных и постановка задачи не только по-разному влияют на результат классификации, но и обеспечивают разное распределение весов внутри предобученной �языковой модели

​

Заключение