1 of 26

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по русскому языку как иностранному

​

Жуковская А.М.

Магистрант 2 курса филологического факультета МГУ� Научный консультант на курсе MSU.AI: Ивченко А.В.�Научный руководитель: Сорокин А.А.

Курс: «Нейронные сети и их применение в научных исследованиях»

2 of 26

Введение в тему

Разработка онлайн-сервиса, генерирующего лексические упражнения к заданному тексту на русском языке

​

Целевая аудитория: преподаватели русского языка как иностранного

Для отработки и закрепления лексики необходимы упражнения. Потребность в их генерации возникает в следующих случаях:

  • недостаточно упражнений в учебнике
  • преподаватель хочет взять текст не из учебника → полное отсутствие упражнений

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

3 of 26

классификация уровня сложности по CEFR (A1-C2) генерация текста

​

Основные задачи

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

4 of 26

​

Для классификации - Scikit-learn

Для генерации - англоязычный сервис twee

Обзор существующих решений

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

5 of 26

Классификация

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

6 of 26

Данные. Тексты

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

Тексты из учебников по РКИ. Всего 2 087 текстов

​

7 of 26

Данные. Эмбеддинги

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

Эмбеддинги, сбалансированные с помощью SMOTE

(Synthetic Minority Over-sampling)

​

8 of 26

Модели. Без дообучения

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

9 of 26

Модели. С дообучением

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

10 of 26

Метрики

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

  • accuracy
  • accuracy с разрешением ошибаться на один уровень вниз
  • f1-score
  • precision
  • recall

11 of 26

Результаты для классификации

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

accuracy / accuracy с разрешением

результаты с несбалансированными данными

​

12 of 26

Результаты для классификации

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

accuracy / accuracy с разрешением

результаты со сбалансированными данными

​

13 of 26

Результаты для классификации

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

Пример для выбранной модели

(дообученная sberbank-ai/ruBert-large)

​

14 of 26

Генерация

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

15 of 26

Датасет для обучения Llama2

​

​

Данные

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

Categorize the texts into one of the 6 categories:\n\nуровень сложности A1\nуровень сложности A2\nуровень сложности B1\nуровень сложности B2\nуровень сложности C1\nуровень сложности C2\n\n

16 of 26

Модель

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

17 of 26

Метрики

Perplexity

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

18 of 26

Метрики

Rucola

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

19 of 26

Метрики

Self-BLEU

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

20 of 26

Результаты для генерации

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

rucola

perplexity

self-bleu

21 of 26

Результаты для генерации

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

Соответствие ожидаемого уровня сложности

и предсказанного

​

22 of 26

Упражнение

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

23 of 26

Дальнейшие исследования и планы

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

  • Дообучение Llama2 с другими параметрами и другим количеством эпох
  • Тестирование моделей с дообучением и без на большем количестве данных
  • Автоматический выбор лексики в исходном тексте
  • Расширить список типов упражнений

24 of 26

Дальнейшие исследования и планы

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

Few-shot обучение Llama2 на данных из

государственных стандартов

25 of 26

    • Труды Института системного программирования РАН
    • Русистика
    • X Международная конференция и молодёжная школа "Информационные технологии и нанотехнологии"
    • Компьютерная лингвистика и интеллектуальные технологии (Диалог)

​

Журналы

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ

26 of 26

  • Получена модель-классификатор, достигающая качества 89%
  • Сгенерировано упражнение на заполнение пропусков
  • Остается неясным, вносит ли дообучение модели-генератора положительные изменения. Требуются дальнейшие исследования
  • Создан репозиторий (https://github.com/mannazhuk/study-repo)

​

​

Заключение

Автоматическая генерация лексических упражнений к тексту для использования на занятиях по РКИ