Нейросетевая генерация траектории стопы человека

​

Брагин Александр Викторович� Ганичев Антон Александрович�Болотин Юрий Владимирович

Курс: «Нейронные сети и их применение в научных исследованиях»

Введение в тему

Навигация – определение местоположения объекта.

Навигация пешехода по инерциальным датчикам – актуально везде, где нет GPS.

Инерциальные датчики – акселерометры (измеряют ускорения), гироскопы (измеряют угловые скорости)

Датчики установлены на стопы. Это позволяет корректировать навигационное решение.

Для обработки показаний датчиков применяются различные алгоритмы навигации. Все их нужно тестировать.

Нейросетевая генерация траектории стопы человека

Введение в тему

Способ тестирования алгоритмов – генерация показаний датчиков по известным траекториям. Проведение большого количества реальных экспериментов накладно, кроме того создать надежный эталон не так просто. Выход – искусственная генерация траекторий.

Нейросетевая генерация траектории стопы человека

Реальный

эксперимент

Имитация

эксперимента

Алгоритм навигации

Тестирование – сравнение с эталоном

Создание эталона – сложная задача

Нейросетевая генерация траектории стопы человека

Исходные данные – набор траекторий стопы SRDC [1]:

• Траектория – координаты, скорости, кватернион, флаг нулевой скорости стопы как функции времени
• Способ получения траекторий – обработка данных реальных экспериментов навигационными алгоритмами
• 10 испытуемых (20 траекторий). Длительность 5 минут, частота данных 125 Гц.

​

​

​

Данные

[1] Ю. В., Брагин А. В. Сравнение точности алгоритмов навигации пешехода,

основанных на разных способах коррекции //

Сборник материалов МКИНС2021. — Санкт-Петербург: 2021. — С. 61–64.

Алгоритм навигации (постобработка)

Типовая траектория

Нейросетевая генерация траектории стопы человека

Траектория: координаты, скорости, кватернион�для наглядности приведена траектория в горизонтальной плоскости, а не координаты в зависимости от времени

​

​

Данные

Нейросетевая генерация траектории стопы человека

• Элемент обучающей выборки – шаг

​

​

​

​

• Шаги выделяются из траектории по флагу нулевой скорости

​

• Обучение происходит по скоростям и кватерниону, т.к. координаты могут быть получены интегрированием скоростей.��

​

​

Данные

Нейросетевая генерация траектории стопы человека

• Модель – VAE на основе сверточных слоев
• Loss – сумма KLD и MSE

Модели

Encoder (latent_dim=10)

Decoder (latent_dim=10)

Общая схема работы с данными

Нейросетевая генерация траектории стопы человека

• Способ получения разнообразных траекторий – условная генерация (СVAE)
• Механизм – обучение модели генерировать шаг в заданном меткой направлении
• Метка кодируется углом, вычисляемым по приращению координат за шаг.

Модели

Нейросетевая генерация траектории стопы человека

• Размерность латентного пространства = 10, число параметров =56.8 К
• Размер датасета – 6000 шагов, обучающая выборка – 75%, тестовая 25%

​

​

Сгенерированная траектория

Loss для

• 10 эпох (черная точка)
• 20 эпох (желтая точка)
• 30 эпох (фиолетовая точка)

Результаты

Нейросетевая генерация траектории стопы человека

Результат генерации скорости

(синяя – реальные данные, красная – сгенерированные)

• Результаты правдоподобны

​

​

​

Результаты

Нейросетевая генерация траектории стопы человека

Результат генерации кватерниона

• Результаты правдоподобны (1,2,4 компоненты) и не очень (3 компонента)
• Имеются смещения средних значений на больших временах
• Необходимо дополнительное сглаживание (окном в 20 отсчетов)

​

​

​

​

Результаты

Нейросетевая генерация траектории стопы человека

Результаты имитации показаний инерциальных датчиков по сгенерированной траектории

• Акселерометры отличаются по уровню сигнала в фазах опоры – следствие отличий в кватернионе (интерпретация - отличие крепления блока на стопе)
• Гироскопы сильнее оригинала отличаются от 0 на стоянках (возможно, неидеальность соединения шагов)

​

​

​

​

Результаты

Нейросетевая генерация траектории стопы человека

Сгенерированная траектория пригодна для тестирования алгоритмов навигации пешехода

​

​

​

​

​

Результаты

Отличия восстановленной алгоритмом навигации траектории от исходной (сгенерированной)

• Сравниваются только скорость и кватернион, поскольку координаты вычисляются по скоростям
• Малые отличия говорят об отсутствии артефактов в сгенерированной траектории

​

​

​

​

Нейросетевая генерация траектории стопы человека

Результаты

Применение механизма CVAE для генерации различных траекторий

• Метки заменялись на наборы констант
• Непостоянство направления говорит об утечке данных о направлении шага в латентное пространство
• Утечка данных не мешает генерировать разнообразные траектории, но снижает «управляемость» метода

​

​

​

​

Нейросетевая генерация траектории стопы человека

Качество генерации определяется визуально и по результатам обработки показаний датчиков, вычисленных по сгенерированной траектории

�В литературе предлагаются различные тесты на качество сгенерированных данных [2,3]:

​

• вариативность - tSNE, PCA
• сходство с оригиналом - классификаторы, тренированные отличать реальные и сгенерированные данные
• применимость для решения целевой задачи - оцениватели, предсказывающие следующее значение временного ряда, обученные на сгенерированных данных и проверенные на реальных

Метрики

[2] Yoon J., Jarrett D., Van der Schaar M. Time-series generative adversarial networks//

Advances in neural information processing systems. – 2019. – Т. 32.

​

[3] Desai A. et al. Timevae: A variational auto-encoder for multivariate time series generation//

arXiv preprint arXiv:2111.08095. – 2021.

Нейросетевая генерация траекторий стопы человека

Вариации на тему GAN:

• TimeGAN [2]
• GTGAN [5]

Обзор существующих решений

Вариации на тему VAE:

• TimeVAE [3]
• FD-VAE [6]

[4] Razghandi M. et al. Variational autoencoder generative adversarial network for Synthetic Data Generation in smart home //

ICC 2022-IEEE International Conference on Communications. – IEEE, 2022. – С. 4781-4786.

​

[5] Jeon J. et al. GT-GAN: General purpose time series synthesis with generative adversarial networks //

Advances in Neural Information Processing Systems. – 2022. – Т. 35. – С. 36999-37010.

​

[6] Greco G., Guzzo A., Nardiello G. FD-VAE: A feature driven VAE architecture for flexible synthetic data generation //

International Conference on Database and Expert Systems Applications. – Cham : Springer International Publishing, 2020. – С. 188-197.

​

[7] M. Abid, V. Renaudin, T. Robert, Y. Aoustin and E. Le-Carpentier, A human-like walking gait simulator for estimation of selected gait parameters // 2017 14th Workshop on Positioning, Navigation and Communications (WPNC), Bremen, Germany, 2017, pp. 1-6

Синтез VAE и GAN:

• VAEGAN [4]

Нейронные сети для генерации временных рядов

Биомеханические модели движения стопы

• Моделирование скелета человека [7]

Нейросетевая генерация траектории стопы человека

1. Повысить качество генерации (увеличить сходство между реальными и синтетическими данными) ��2. Сделать механизм условной генерации более удобным (путевые точки вместо явного задания меток) ��3. Рассмотреть возможность добавления физически обоснованных компонент функции потерь для более достоверной генерации

Возможные направления развития

Нейросетевая генерация траектории стопы человека

• Разработан метод генерации шага человека

​

• Предложен способ восстановления траектории по сгенерированным шагам

​

• Предложен механизм генерации множества разнообразных траекторий на основе одной базовой

​

• Проверена возможность имитации показаний инерциальных датчиков на основе сгенерированнй траектории

​

​

Заключение