���������
Projekt współfinansowane przez Unię Europejską ze środków Europejskiego Funduszu Społecznego
Politechnika Śląska jako Centrum Nowoczesnego Kształcenia
opartego o badania i innowacje
POWR.03.05.00-00-z098/17
STEROWANIE POJAZDEM AGV W OPARCIU O ROZPOZNAWANIE GESTÓW I ANALIZĘ GŁOSU
Autorzy: Krystian Kulik, Radosław Masłowski, Oskar Szkurłat, Mateusz Szwedka, Wojciech Ptasiński, Łukasz Woźniak
Główny prowadzący: dr hab. inż. Sebastian Budzan
Prowadzący pomocniczy: dr inż. Roman Wyżgolik, dr inż. Marek Kciuk
Klasyfikacja obrazów - Adaptive Vision Studio
Możliwości Adaptive Vision Studio:
Narzędzia Deep Learningowe:
Klasyfikacja obrazów binarnych
Klasyfikacja obrazów monochromatycznych
Klasyfikacja obrazów kolorowych
Klasyfikacja chmur punktów 3D
Ekstrakcja z obrazu 2D na bazie chmury punktów 3D
Algorytm gestów 2D w oparciu o CNN �z zaproponowanym przez nas modelem
Wyniki
Rozpoznawanie gestów 2D w oparciu �o pretrenowaną sieć „Mobilenet”
Wyniki
Maszyna wektorów pomocniczych
Rozpoznawanie komend głosowych - zbiór danych
Zbieranie danych do zbioru treningowego i testowego jest czasochłonnym procesem,
dlatego do pracy nad klasyfikatorem wykorzystano publiczny zbiór danych:
"Warden P. Speech Commands: A public dataset for single-word speech recognition, 2017."
Zbiór zawiera 65 000 jednosekundowych wypowiedzi 30 krótkich słów, wypowiedzianych przez tysiące różnych osób.
GO
LEFT
RIGHT
STOP
Wybrane komendy głosowe, które posłużyły do sterowania pojazdem.
13
Rozpoznawanie komend głosowych - ogólna zasada działania
1s okno z komendą głosową
GO
LEFT
RIGHT
STOP
Wstępne przetwarzanie
Sieć neuronowa
Wynik klasyfikacji
14
Rozpoznawanie komend głosowych - klasyfikacja spektrogramów
15
Rozpoznawanie komend głosowych - wstępne przetwarzanie danych
Augmentacja
Rys. 1 Poszczególne kroki przetwarzania danych.
16
Rozpoznawanie komend głosowych - sieci neuronowe LSTM
Ze względu na charakter danych, jako klasyfikacji wybrano sieci neuronowe z komórkami LSTM, które pozwalają otrzymać dodatkowe informacje z przetwarzanej sekwencji.
Otrzymana dokładność klasyfikatora: 97.83911%
Źródło: wikipedia.org
Dokładność modelu
Funkcja kosztu
Funkcja kosztu dla danych testowych
Dokładność dla danych testowych
17
Klasyfikacja gestów z map głębi - zbiór danych
Na podstawie przygotowanych skryptów obsługujących kamerę IFM O3D303, która zwraca obraz w postaci mapy głębi, utworzono zbiór danych treningowych i testowych. Przy zbieraniu danych zwrócono szczególną uwagę na zapewnienie reprezentatywności zbioru poprzez, urozmaicenie scenerii oraz pozycji, w której pokazywano poszczególne gesty.
Wybrane gesty, które posłużyły do sterowania pojazdem.
18
Klasyfikacja gestów z map głębi - uczenie transferowe
Podobnie jak w przypadku komend głosowych, zbieranie i etykietowanie danych z kamery jest procesem czasochłonnem, a stworzenie odpowiednie zgeneralizowanego modelu wymaga dużej ilości czasu i pracy. W związku z tym, do klasyfikacji gestów wykorzystano uczenie transferowe.
Uczenie transferowe
Źródło: laptrinhx.com
19
Klasyfikacja gestów z map głębi - analiza aktywacji warstw sieci neuronowej
Błędna klasyfikacja – skupianie się CNN na tle
Aktywacja przykładowych warstw konwolucyjnej sieci neuronowej
20
Klasyfikacja gestów z map głębi - wyniki
Dla analizowanego problemu klasyfikacji porównano trzy popularne modele, które są powszechnie wykorzystywane w uczeniu transferowym:
21
Sterowanie głosem: Rozwiązanie LabView
Front Panel Sterowania Głosem
Rozwiązanie LabView: Uczenie komend
Uczenie nowej komendy polega na sześciokrotnym powtórzeniu wyrazu oraz przeniesieniu aktualnego wektora wypowiedzi do biblioteki wektorów nauczonych.
Wektor aktualnej wypowiedzi
Wektor wypowiedzi nauczonej wewnątrz biblioteki dla pierwszego wariantu komendy „Left”
Biblioteka uczonych komend
Detekcja mowy ludzkiej: Akwizycja, Odszumianie
Sygnał zostaje przeskalowany na częstotliwość 11025Hz ze względu na optymalizację.
Sygnał wejściowy zostaje odfiltrowany. W tym celu konieczne było zastosowanie Szybkiej Transformaty Fouriera (FFT), a następnie określenie zakresu częstotliwości dla mowy ludzkiej.
Zakres ten wyniósł w przybliżeniu od 300 Hz do 800 Hz.
Wynik filtracji
Wynik akwizycji
Charakterystyka częstotliwości
Detekcja mowy ludzkiej:
Okna czasowe, Wektor energii
Następnie odszumiony sygnał zostaje podzielony na próbki 20ms, gdzie stosowane zostają okna Hamminga.
W kolejnym kroku zostaje określony wektor energii za pomocą wyznaczonego progu. Oraz zostaje on przepisany na wektor o wartościach boolean.
Dla pewniejszego rezultatu stosowany jest filtr medianowy.
Ostatnie okno czasowe
Wektor energii
Przetworzony wektor energii
Detekcja mowy ludzkiej: Moment mowy
Na podstawie zero-jedynkowego wektoru energii określany jest jego początek oraz koniec za pomocą indeksów. Indeksy przeliczane są na czas początku, końca oraz długość wykrytej wypowiedzi. Na podstawie tych czasów wyliczany jest środek wypowiedzi, który służy za punkt odniesienia dla poboru próbki o długości 1s przenoszonej do sieci algorytmów neuronowej.
Środek wypowiedzi
Wyjściowa próbka mowy
Wyznaczenie mowy względem całego nasłuchu
Google Speech Recognition API�
Wykonano program Python obsługujący API Speech Recognition od Google. Program posiada zaimplementowane wysyłanie i podtrzymanie danych poprzez poprzez „websocket”. Program zabezpieczono przed sytuacjami gdy zostaną wydane sprzeczne komendy, komenda nie zostanie rozpoznana lub program nie dostanie odpowiedzi z serwera Google. Do wykonania programu wykorzystano bibliotekę SpeechRecognition.
Package SpeechRecognition
Algorytm działania
Prędkość działania programu dla
poszczególnych komend
Panel sterowania
Film pokazowy
Film pokazowy
DZIĘKUJEMY ZA UWAGĘ