Маршрут
Что делать по регламенту: по шагам и со ссылкой на пункт
Навигатор сотрудника МФТИ по внутренним регламентам · хакатон «ИИ в системе управления МФТИ», трек 04
Авторы: Светлана Береснева, Алексей Ткаченко
Стенд: 176-53-224-203.sslip.io · github.com/alteralto/marshrut
Сотрудник получает порядок действий, и каждый шаг можно проверить по пункту
Проблема кейса: документы разрознены, трактовка непонятна
Сейчас
С «Маршрутом»
Руководитель проекта находит ответ сам, и ФЭУ реже пересказывает регламент по телефону
Для кого: сотрудники МФТИ, которые работают по регламентам каждый день
1
Руководитель проекта
Открыть ФЛС под грант, согласовать и скорректировать смету, взять внутренний заём
«Что мне делать и к какому сроку?»
2
Сотрудник ФЭУ и бухгалтерии
Отвечать на однотипные вопросы ссылкой на маршрут вместо пересказа по телефону
«Пришлю ссылку, там всё по пунктам»
3
Любой сотрудник
Командировка, общежитие, бронирование зала, техподдержка, подбор персонала
«Где это написано?»
Интерфейс: крупный текст (А / А+ / А++) для удобного чтения, спокойная тёмная и светлая темы, словарь сокращений, личный чек-лист «Сделано», работа с телефона
Ссылку на документ дают многие; у нас каждый шаг маршрута подтверждён пунктом регламента
«Ответ со ссылкой на документ» уже есть у Directum, Teamly, Naumen, ELMA и Яндекса, поэтому выделяемся мы другим
Шаги с ролями и сроками
Порядок действий: кто, что делает, срок, бланк. Шаги можно отмечать в личном чек-листе
Каждый шаг сверен с пунктом
Слова, числа и отрицания шага проверяются по тексту пункта; неподтверждённое отбрасывается. На 611 подменённых шагах отсеяно 96,6%
Минимум галлюцинаций
Отказ решается до модели: на 100 новых вопросах вне базы 88 честных отказов, у эксперта ни одного выдуманного факта
Легкое разворачивание
Один образ Docker, ни одной npm-зависимости, без облака и без модели; GigaChat по желанию, только для открытых документов, ФИО вырезаются
Отвечает только тем, что написано в действующих регламентах
Как это работает: на входе вопрос своими словами, на выходе ответ, который можно проверить
НА ВХОДЕ
Вопрос сотрудника
«как открыть ФЛС», «кто утверждает смету»
Регламенты любого вида
PDF, сканы, DOCX, XLSX, ссылка на страницу сайта
Редакции приказов
какая действует, какая заменена и чем
Права доступа
открытые и закрытые документы, редактор базы
Маршрут
НА ВЫХОДЕ
Короткий ответ
1–2 предложения со ссылкой на пункт
Шаги и чек-лист
кто, что делает, к какому сроку, какой бланк
Цитата пункта
подсветка взятого и страница оригинала
Документ и редакция
номер, дата, действует ли
Честный отказ
если ответа нет, плюс близкие документы
Пример: «Как открыть ФЛС для НИОКР?» → приказ № 3065-1, 11 шагов от карточки проекта до регистрации, у каждого шага пункт и страница
Документ, пункты и отказ выбирает поиск без модели, поэтому ответ можно проверить
Что внутри: пять шагов без языковой модели; модель только переформулирует найденное
БЕЗ ЯЗЫКОВОЙ МОДЕЛИ: НА ОДИНАКОВЫЙ ВОПРОС ОДИНАКОВЫЙ ОТВЕТ
1
Приём
PDF, DOCX, XLSX, ссылки; сканы и повёрнутые листы распознаёт Tesseract
2
Пункты и редакции
текст режется на пункты с номерами; отмечается, какая редакция действует
3
Поиск
BM25 по документам и пунктам, синонимы и сокращения (ФЛС, ФЭУ, НИОКР)
4
Порог отказа
опоры в регламентах нет → честный отказ; модель даже не вызывается
5
Проверка шагов
слова, числа и «не» в шаге сверяются с пунктом; неподтверждённое отбрасывается
GigaChat по желанию
Переписывает найденные пункты простым языком, между шагами 4 и 5, поэтому его текст тоже проходит проверку. ФИО, телефоны и e-mail вырезаются до отправки, закрытые документы не уходят. Если модель не ответила, ответ собирается из дословных выдержек.
7,7 мс
ответ без модели, медиана
3–10 с
с GigaChat, через очередь
0
npm-зависимостей: один образ Docker
Система скорее откажет, чем ошибётся: верный документ в 89 ответах из 93
Сводка по 205 вопросам: 105 с ответом в базе и 100 без ответа, написанных уже после настройки
89 из 93
ответов с верным документом. Ещё на 12 вопросов система отказала, хотя ответ в базе был. Этим мы платим за точность
Выборка: 105 вопросов в трёх наборах
88 из 100
честных отказов, когда ответа в базе нет. В остальных 12 показан ближайший пункт: цитата настоящая, но не по вопросу
Выборка: 100 вопросов, на них не настраивали
96,6%
шагов с подменой отброшено: 590 из 611. Из 126 верных шагов проверка не тронула ни один
Выборка: 737 шагов
Вопросы, ответ на которые в базе есть (105)
89: верный документ
4
12
Вопросы, ответа на которые в базе нет (100)
88: честный отказ
12
Слепая проверка эксперта (40 вопросов, кода он не видел): ни одного выдуманного факта. Три неверных ответа: перепутанное условие внутри пункта: это следующая доработка проверки.
Каждую цифру можно перепроверить: 350 вопросов в пяти наборах, на двух из них ничего не настраивали
Наборы вопросов и скрипты лежат в репозитории; ответ без модели одинаков при каждом запуске
Набор | Вопросов | Кто писал | Настраивали | Результат |
Вопросы кейса по 22 документам | 51 | мы | да | документ первым: 43 из 43; отказ: 7 из 8 |
Слепая проверка эксперта | 40 | эксперт, кода не видел | нет | документ верный: 27 из 27; отказ: 8 из 8; выдумок 0 |
Новые документы mipt.ru и других вузов | 40 | отложены до настройки | нет | документ первым: 19 из 30, в тройке: 28; отказ: 7 из 10 |
Вне базы: набор, на котором выбирали правило | 119 | мы | да | отказ: 98 из 119 |
Вне базы: новый набор | 100 | мы, после настройки | нет | отказ: 88 из 100 |
База в 50 раз больше кейса
К 22 документам кейса добавили 1144 чужих регламента 43 вузов. Документ кейса остаётся первым в 88% вопросов, в первой тройке в 98%.
Как повторить
node rag/eval/run-eval.js --questions …
node rag/eval/run-out-of-base.js --questions …
Команды и ожидаемые числа есть в README, раздел «Проверка за 10 минут»
База в 50 раз больше кейса не замедляет ответ
Проверено на 1190 файлах 43 вузов, включая сканы, без отбора
1166
документов в базе после разбора (из 1190 файлов, сканы распознаны)
7,7 мс
ответ без модели, медиана; 95% ответов быстрее 15,5 мс
21,1 с
пересборка индекса на 123 тыс. пунктов после загрузки
~1 ГБ
памяти на всю базу; на 22 документа кейса 46 МБ
Сканы: доля ошибочных символов
| Обычный скан | Плохая ксерокопия | с/стр. |
Tesseract (в образе) | 0,3% | 92% | 1,9 |
то же, 1 ядро | 0,3% | 92% | 2,2 |
EasyOCR, GPU | 3,2% | 32% | 5,4 |
Плохие ксерокопии: в плане второй проход другим распознавателем
Внутренний запуск окупается примерно за два года за счёт времени сотрудников
Сценарий 1 финансовой модели: поиск в контуре МФТИ, формулировка через API, команда 5–6 человек на запуске
-3
-2
-1
0
+1
млн ₽
1
6
12
18
24
30
месяцы от начала проекта
окупаемость
на 24-м месяце
3 месяца запуска: 3,05 млн
накопленный результат: эффект минус расходы
6,1 млн ₽
бюджет первого года: команда, сервер, вызовы модели
487 тыс. ₽
в месяц: время сотрудников, которое освобождается на ответах
13,5 тыс.
вопросов в месяц: с этого объёма эксплуатация окупается
Внешние вузы (сценарий 4): при 10 клиентах +2,76 млн ₽ в первый год
Допущения: 20 тыс. вопросов в месяц, 65% ответов полезны, экономия 5 минут на ответе, 750 ₽ за час труда. Проверяем на пилоте. Расчёт: финансовая модель С. Бересневой, 14.11.2026
Для пилота хватит одного сервера на 2 ядра и 4 ГБ, облако не нужно
Маршрут внедрения в МФТИ: от стенда до всего института
Сейчас
Стенд работает: 22 документа кейса, Docker, проверка при каждом изменении
Пилот в ФЭУ
Меряем вопросы в неделю, долю полезных ответов и сколько звонков ушло
1С:Документооборот
Вместе с УИТ: оттуда берём приказы и статусы редакций
Учётные записи
Вход по своей учётке вместо общих кодов, журнал действий
Весь институт
Условия внутри пункта, вопросы на два документа, поиск противоречий
РЕСУРСЫ В КОНТУРЕ
Без модели
2 ядра · 4 ГБ · 10 ГБ
до ~3 000 документов; замер: 46 МБ на 22 документа, ~1 ГБ на 1166
Распознавание сканов
~1 900 стр/ч на ядро
первичный архив разбирается параллельно на нескольких ядрах
Своя модель вместо GigaChat
GPU 24–48 ГБ
модель 7–14B; тогда в модель можно отдавать и закрытые документы
Условие успеха: у каждого регламента есть владелец, который отвечает за актуальность. Внешние сервисы не обязательны, образ 549 МБ
Задайте свой вопрос: стенд открыт без входа
Загрузка и удаление документов по коду редактора
Стенд
176-53-224-203.sslip.io
Код и инструкция запуска
github.com/alteralto/marshrut
Спросите
«Как открыть ФЛС для НИОКР?»
«Кто утверждает смету по Приоритет-2030?»
«Как взять кредит в банке?» (честный отказ)