Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России

при помощи глубоких нейронных сетей

​

Дубровина Дарья Игоревна,

группа НС 241, аспирант кафедры правовых основ управления ФГУ МГУ

​

научный консультант – к.т.н. Ивченко А.В.

научный руководитель – д.ю.н., к.э.н. Лексин И.В.

г. Москва, ноябрь 2023 г.

Курс: «Нейронные сети и их применение в научных исследованиях»

Введение

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Цель

Разработать ПО для выявления уровня соответствия содержания региональных стратегий методрекомендациям на основе использования нейронных сетей

​

Задачи

1. Собрать и подготовить датасет из региональных стратегий

2. Подобрать оптимальную модель для обработки русскоязычных юридических текстов

3. Выбрать метрики для оценки качества работы моделей

4. Дообучить выбранную модель на основе собранного датасета

5. Интерпретировать результат сопоставления стратегий и Методрекомендаций

Актуальность

Применение разработанного ПО для анализа стратегических документов различных уровней и этапов

​

Новизна

Полный (а не выборочный) анализ действующих региональных стратегий с юридической точки зрения

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Данные

Обработка данных

1. Обработка заголовков и формирование оглавления:

— удаление деления заголовков на абзацы

— скрипт для автоматического формирования оглавления (но регионы подходят неединообразно к формату оглавления)

— оглавление в docx-файлах в начале документа и перевод в формат csv

2. Обработка текста (библиотеки transliterate, python-docx, pypandoc):

— в формат txt, переименование с использованием латиницы

— удаление лишних символов (пустые абзацы) и фраз («Документ предоставлен КонсультантПлюс«»), рисунков и приведение символов к нижнему регистру

— перевод табличных данных в строки

~100%

соответствия стратегий Закону 172-ФЗ

>70%

соответствия стратегий МР

Гипотеза

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

«Эталонное» оглавление

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Стратегии

Год принятия

Год окончания

Оглавление стратегии

Требования МР

Введение

Приоритеты,

цели и задачи

Целевой сценарий

Кадровое обеспечении экономики

Раздел I ОБЩИЕ ПОЛОЖЕНИЯ

Раздел II СТРАТЕГИЧЕСКИЙ АНАЛИЗ СОЦИАЛЬНО-ЭКОНОМИЧЕСКОГО РАЗВИТИЯ АСТРАХАНСКОЙ ОБЛАСТИ

Раздел III СЦЕНАРИИ СОЦИАЛЬНО-ЭКОНОМИЧЕСКОГО РАЗВИТИЯ АСТРАХАНСКОЙ ОБЛАСТИ

Раздел VI КАДРОВАЯ ПОЛИТИКА АСТРАХАНСКОЙ ОБЛАСТИ

Пространственное развитие

Раздел V ПРОСТРАНСТВЕННОЕ РАЗВИТИЕ АСТРАХАНСКОЙ ОБЛАСТИ

Раздел IV СТРАТЕГИЧЕСКОЕ ВИДЕНИЕ (МИССИЯ), ЦЕЛЬ, ЗАДАЧИ И ПРОЕКТНЫЕ НАПРАВЛЕНИЯ СОЦИАЛЬНО-ЭКОНОМИЧЕСКОГО РАЗВИТИЯ АСТРАХАНСКОЙ ОБЛАСТИ

Пример сопоставления

Аналитика стратегий

Всего – 82 документа, �из них обучение – 16; валидация – 2; тест – 2

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Label Studio

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Задача генерации

Задача классификации

Методология

Формат «вопрос-ответ» о наличии определенных пунктов

​

Модель кодировщик-декодировщик и работа с основным текстом

Сопоставление «эталонного» оглавления, составленного на основе требований Методрекомендаций и Закона № 172-ФЗ, с положениями содержания стратегий

​

Bert-подобные модели и работа с оглавлением

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

. Пример обработки стратегии

Bert-подобные модели

Метрика – косинусная мера [0 – 1]:

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Выбор граничного значения косинусной меры для «отсечения» класса -1 по распределению значений косинусной меры для класса -1 (min) и остальных классов (max)

Точность моделей без учета

«неэталонных» пунктов

Точность моделей с учетом

«неэталонных» пунктов

Выбор модели

Выбираем по модели tiny2 всё, что выше min значения косинусной меры по значимым классам, оставляем для анализа c ошибкой на части комбинаций (0,05%)

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Промты для обработки текста были написаны в формате:

Есть ли в <данном тексте> следующая информация: <>.

​

Благодаря созданному оглавлению проходимся в цикле по всем документам, бьем их на части между пунктами оглавления и к каждому такому пункту задаем 18 вопросов, соответствующих «эталонному» содержанию. По размеченным документам проверяем совпадение (т.е. 2 запуска, в одном из которых считается точность).

​

Алгоритм обработки стратегий в виде псевдокода:

Создать словарь_соответствий, такой, что названию региона соответствует текст стратегии и таблица оглавления.

По стратегии в списке_стратегий:

По оглавлению_стратегии в стратегии (из словаря_соответствий):

По эталонному_вопросу в списке_промтов:

Инференс модели OpenBuddy-Llama2-13B-v11.1-GPTQ

Сохранение ответов

Проверка совпадений (при наличии разметки).

Llama 2

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Дообучение LLaMA 2

LoRA module names: ['base_layer']

All Parameters: 6,854,824,960 || Trainable Parameters: 62,586,880 || Trainable Parameters %: 0.9130339631604539

Training...

***** train metrics *****

epoch = 0.73

total_flos = 470036GF

train_loss = 1.4439

train_runtime = 0:01:52.12

train_samples_per_second = 0.714

train_steps_per_second = 0.178

{'train_runtime': 112.1221, 'train_samples_per_second': 0.714, 'train_steps_per_second': 0.178, 'total_flos': 504697768734720.0, 'train_loss': 1.443871021270752, 'epoch': 0.73}.

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Обзор существующих решений

подпись

Выбор регионов

по признаку

(расположение, специализация и пр.)

​

Выбор

отдельного региона

На текущий момент аналитика проводится только вручную

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

План

Разделы из Методрекомендаций в оглавлении?

Формулировки и количественные показатели социально-экономического развития (и их наличие)

Сравнение оглавления с законодательными требованиями

• Выявить соответствие содержания разделов стратегий требованиям Методрекомендаций к разделам

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Результаты по пунктам оглавления

1. Вводная часть —

2. Оценка достигнутых целей социально-экономического развития —

3. Приоритеты, цели и задачи социально-экономического развития —

4. Целевой сценарий социально-экономического развития —

5. Основные направления развития чел. капитала и социальной сферы —

6. Основные направления экономического развития —

7. Основные направления развития научно-инновационной сферы —

8. Основные направления рац. природопользования и обеспечения эколог. безопасности —

9. Основные направления развития межрегиональных и внешнеэкономических связей —

10. Основные направления пространственного развития —

11. Сведения о кадровом обеспечении экономики —

12. Заключительная часть —

13. Оценка финансовых ресурсов, необходимых для реализации стратегии —

14. Сроки и этапы реализации стратегии —

15. Приложение с основными показателями достижения целей соц-эконом. развития —

16. Приложение с ожидаемыми результатами реализации стратегии —

17. Приложение с перечнем крупных инвестиционных проектов —

18. Приложение с государственными программами —

Есть в МР

Есть в Законе 172-ФЗ и МР

76%

соответствия стратегий Закону 172-ФЗ

75%

соответствия стратегий МР

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Результаты по регионам

До 2017

После 2017

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Журналы

Анализ соответствия стратегий социально-экономического развития регионов методическим рекомендациям Минэкономразвития России при помощи глубоких нейронных сетей

Заключение

Результаты исследования презентованы на

I Всероссийской школе НЦФМ «Искусственный интеллект и большие данные» (20-24 ноября 2023 г., г. Саров)

Ссылка на репозиторий: https://github.com/DDubrovina/Strategy_analysis

• В настоящей работе исследовался один из аспектов сопоставления стратегий и Методрекомендаций в части наличия ключевых разделов и соблюдения законодательных требований при помощи задач классификации на основе tiny-bert 2 и генерации ответов на поступившие запросы на основе LLaMA 2.
• Полученные результаты выявили, что регионы соблюдают законодательные и рекомендательные требования в районе 75%.
• При разработке новых стратегий и корректировки существующих регионам следует руководствоваться Методрекомендациям, а Минэкономразвития России при согласовании проектов данных документов оценивать следование регионами рассматриваемых требований, поскольку они позволяют учитывать развитие ключевых направлений, на которые выделяется финансирование, создаются инвестиционные проекты и используются в других документах стратегического планирования.