Автоматическая расстановка пунктуации в русскоязычном тексте

​

Богданова Валерия Михайловна�Научный консультант: Ивченко Александр Владимирович�Научный руководитель: Сорокин Алексей Андреевич

Курс: «Нейронные сети и их применение в научных исследованиях»

О работе

Практическая цель:

• создание рабочего средства исправления пунктуации в русских текстах (сообщения официального и разговорного стиля, сочинения, документы);

​

Новизна:

• проведение научного исследования на русском языке с использованием актуальных архитектур и на открытой выборке.

Автоматическая расстановка пунктуации в русскоязычном тексте

• Тексты, длина - от 1 предложения до страницы
• Неразмеченные

​

Требования:

• Необходимый объем должен быть из одного источника (не набор разных предложений);
• Высокая грамотность;
• * Современность

Данные

Автоматическая расстановка пунктуации в русскоязычном тексте

Выбранные источники:

• Художественная литература, публицистика, официальные документы

​

Сложности:

• Отсутствие готовых (в том числе размеченных) данных под задачу
• Проверка качества данных
• Отсутствие бенчмарка

Данные

Автоматическая расстановка пунктуации в русскоязычном тексте

Данные

Приведение данных к общему виду

Автоматическая расстановка пунктуации в русскоязычном тексте

Данные

Автоматическая расстановка пунктуации в русскоязычном тексте

Модели

Автоматическая расстановка пунктуации в русскоязычном тексте

• Основная модель - энкодер модели трансформер по типу Берт.

Были выбраны именно русскоязычные модели: RuBert от DeepPavlov, RuBert от ai forever, RuLeanALBERT

Модели

Автоматическая расстановка пунктуации в русскоязычном тексте

BI-LSTM (baseline)

• long short-term memory
• способен обучаться долгосрочным зависимостям

Другие архитектуры

• Комбинации с CRF
• Использование синтаксической разметки

Рабочий

вариант модели:

Автоматическая расстановка пунктуации в русскоязычном тексте

4. Линейный классификатор

​

3. Нейронный слой (Bi-LSTM)

​

2. Подача в энкодер трансформера (Bert)

​

1. Подготовка текста (tokenization)

Опробованная на данный момент архитектура

​

подпись

подпись

Модели

Автоматическая расстановка пунктуации в русскоязычном тексте

Подходят стандартные метрики:

• Точность (Precision);
• Полнота (Recall);
• F1-мера.

​

Для F1-меры используется микроусреднение, так как имеется существенный дисбаланс классов.

Метрики

• Финально фиксированный вариант датасета будет сравниваться с существующими решениями.

Автоматическая расстановка пунктуации в русскоязычном тексте

• Для английского и нескольких европейских языков: работы с разной архитектурой, на одних бенчмарках
• Для русского: коммерческие проекты, репозитории и статьи на Хабр (часто с плохой воспроизводимостью), исследования с устаревшей архитектурой

Обзор существующих решений

Автоматическая расстановка пунктуации в русскоязычном тексте

• Достигнуть оптимальных показателей с текущей архитектурой путем подбора гиперпараметров и способа подачи данных
• Сравнить результаты с существующими решениями
• Сравнить результаты с другими Bert для русского языка (RuBert ai forever, RuLeanALBERT,...)
• Обучить альтернативную Bi-LSTM нейросеть
• Реализовать возможность практического применения

План

Автоматическая расстановка пунктуации в русскоязычном тексте

Выбраны и подготовлены данные для обучения;

Имеется baseline архитектура модели и варианты дальнейшего ее улучшения;

Проводится обучение и тестирование модели.

Результаты

Автоматическая расстановка пунктуации в русскоязычном тексте

• Сборник конференций “Диалог” - Компьютерная лингвистика и интеллектуальные технологии”
• Terra Linguistica – международный журнал на русском и английском языках в области лингвистических исследований (СПб)
• Научный результат. Вопросы теоретической и прикладной лингвистики
• Труды Института системного программирования РАН (электронный журнал)

Журналы

Автоматическая расстановка пунктуации в русскоязычном тексте

Имеется:

• Тестируемая бейзлайн-модель и начальные результаты;
• Пути ее улучшения;
• Данные для обучения.

Предстоит:

• Определение качества решения задачи моделью;
• Обучение и тестирование альтернативных версий;
• Использование в реальных условиях.

Заключение

Автоматическая расстановка пунктуации в русскоязычном тексте