1 of 34

���������

Projekt współfinansowane przez Unię Europejską ze środków Europejskiego Funduszu Społecznego

Politechnika Śląska jako Centrum Nowoczesnego Kształcenia

opartego o badania i innowacje

POWR.03.05.00-00-z098/17

​

STEROWANIE POJAZDEM AGV W OPARCIU O ROZPOZNAWANIE GESTÓW I ANALIZĘ GŁOSU

Autorzy: Krystian Kulik, Radosław Masłowski, Oskar Szkurłat, Mateusz Szwedka, Wojciech Ptasiński, Łukasz Woźniak

Główny prowadzący: dr hab. inż. Sebastian Budzan

Prowadzący pomocniczy: dr inż. Roman Wyżgolik, dr inż. Marek Kciuk

2 of 34

Klasyfikacja obrazów - Adaptive Vision Studio

Możliwości Adaptive Vision Studio:

  • Przetwarzanie obrazów
  • Analiza blobów (obiektów binarnych)
  • Analiza konturów
  • Analiza chmur punktów 3D
  • Narzędzia Deep Learningowe

Narzędzia Deep Learningowe:

  • Detect Features - wykorzystywany przy detekcji cech obiektu
  • Detect Anomalies - wykorzystywany przy detekcji anomalii w obiekcie
  • Classify Object - klasyfikacja obiektu do danej klasy
  • Segment Instances - segmentacja obiektów różnych klas na jednym zdjęciu
  • Locate Points - lokalizowanie punktów na obrazie

3 of 34

Klasyfikacja obrazów binarnych

4 of 34

Klasyfikacja obrazów monochromatycznych

5 of 34

Klasyfikacja obrazów kolorowych

6 of 34

Klasyfikacja chmur punktów 3D

7 of 34

Ekstrakcja z obrazu 2D na bazie chmury punktów 3D

8 of 34

Algorytm gestów 2D w oparciu o CNN �z zaproponowanym przez nas modelem

9 of 34

Wyniki

10 of 34

Rozpoznawanie gestów 2D w oparciu �o pretrenowaną sieć „Mobilenet”

11 of 34

Wyniki

12 of 34

Maszyna wektorów pomocniczych

13 of 34

Rozpoznawanie komend głosowych - zbiór danych

Zbieranie danych do zbioru treningowego i testowego jest czasochłonnym procesem,

dlatego do pracy nad klasyfikatorem wykorzystano publiczny zbiór danych: 

"Warden P. Speech Commands: A public dataset for single-word speech recognition, 2017."

Zbiór zawiera 65 000 jednosekundowych wypowiedzi 30 krótkich słów, wypowiedzianych przez tysiące różnych osób.

GO

LEFT

RIGHT

STOP

Wybrane komendy głosowe, które posłużyły do sterowania pojazdem.

13

14 of 34

Rozpoznawanie komend głosowych - ogólna zasada działania

1s okno z komendą głosową

GO

LEFT

RIGHT

STOP

Wstępne przetwarzanie

Sieć neuronowa

Wynik klasyfikacji

14

15 of 34

Rozpoznawanie komend głosowych - klasyfikacja spektrogramów

15

16 of 34

Rozpoznawanie komend głosowych - wstępne przetwarzanie danych

  1. Wycięcie fragmentu z komendą głosową
  2. Wyrównanie za pomocą szumu
  3. Augmentacja
  4. Generowanie parametrów mel-cepstralnych
  5. Normalizacja

​

  1. Losowanie kategorii szumu
  2. Wycięcie losowego fragmentu z szumu
  3. Normalizacja fragmentów szumu oraz komendy głosowej
  4. Nałożenie 3 stopni zaszumienia na komendę głosową (Niski, Średni, Wysoki)

​

Augmentacja

Rys. 1 Poszczególne kroki przetwarzania danych.

16

17 of 34

Rozpoznawanie komend głosowych - sieci neuronowe LSTM

Ze względu na charakter danych, jako klasyfikacji wybrano sieci neuronowe z komórkami LSTM, które pozwalają otrzymać dodatkowe informacje z przetwarzanej sekwencji.

​

Otrzymana dokładność klasyfikatora: 97.83911%

Źródło: wikipedia.org

Dokładność modelu

Funkcja kosztu

Funkcja kosztu dla danych testowych

Dokładność dla danych testowych

17

18 of 34

Klasyfikacja gestów z map głębi - zbiór danych

Na podstawie przygotowanych skryptów obsługujących kamerę IFM O3D303, która zwraca obraz w postaci mapy głębi, utworzono zbiór danych treningowych i testowych. Przy zbieraniu danych zwrócono szczególną uwagę na zapewnienie reprezentatywności zbioru poprzez, urozmaicenie scenerii oraz pozycji, w której pokazywano poszczególne gesty.

Wybrane gesty, które posłużyły do sterowania pojazdem.

18

19 of 34

Klasyfikacja gestów z map głębi - uczenie transferowe

Podobnie jak w przypadku komend głosowych, zbieranie i etykietowanie danych z kamery jest procesem czasochłonnem, a stworzenie odpowiednie zgeneralizowanego modelu wymaga dużej ilości czasu i pracy. W związku z tym, do klasyfikacji gestów wykorzystano uczenie transferowe.

  • Wymaga mniejszej liczby danych treningowych
  • Skraca proces wdrażania sieci neuronowych
  • Zapewnia adaptowalność domenową 
  • Osiąga dużą dokładność

Uczenie transferowe

Źródło:  laptrinhx.com

​

19

20 of 34

Klasyfikacja gestów z map głębi - analiza aktywacji warstw sieci neuronowej

Błędna klasyfikacja – skupianie się CNN na tle

Aktywacja przykładowych warstw konwolucyjnej sieci neuronowej

20

21 of 34

Klasyfikacja gestów z map głębi - wyniki

Dla analizowanego problemu klasyfikacji porównano trzy popularne modele, które są powszechnie wykorzystywane w uczeniu transferowym:

  • ResNet50
  • Xcepction
  • Incepction V3

21

22 of 34

Sterowanie głosem: Rozwiązanie LabView

Front Panel Sterowania Głosem

23 of 34

Rozwiązanie LabView: Uczenie komend

Uczenie nowej komendy polega na sześciokrotnym powtórzeniu wyrazu oraz przeniesieniu aktualnego wektora wypowiedzi do biblioteki wektorów nauczonych.

Wektor aktualnej wypowiedzi

Wektor wypowiedzi nauczonej wewnątrz biblioteki dla pierwszego wariantu komendy „Left”

Biblioteka uczonych komend

24 of 34

Detekcja mowy ludzkiej: Akwizycja, Odszumianie

Sygnał zostaje przeskalowany na częstotliwość 11025Hz ze względu na optymalizację.

Sygnał wejściowy zostaje odfiltrowany. W tym celu konieczne było zastosowanie Szybkiej Transformaty Fouriera (FFT), a następnie określenie zakresu częstotliwości dla mowy ludzkiej.

Zakres ten wyniósł w przybliżeniu od 300 Hz do 800 Hz.

Wynik filtracji

Wynik akwizycji

Charakterystyka częstotliwości

25 of 34

Detekcja mowy ludzkiej:

Okna czasowe, Wektor energii

​

Następnie odszumiony sygnał zostaje podzielony na próbki 20ms, gdzie stosowane zostają okna Hamminga.

​

W kolejnym kroku zostaje określony wektor energii za pomocą wyznaczonego progu. Oraz zostaje on przepisany na wektor o wartościach boolean.

​

Dla pewniejszego rezultatu stosowany jest filtr medianowy.

Ostatnie okno czasowe

Wektor energii

Przetworzony wektor energii

26 of 34

Detekcja mowy ludzkiej: Moment mowy

Na podstawie zero-jedynkowego wektoru energii określany jest jego początek oraz koniec za pomocą indeksów. Indeksy przeliczane są na czas początku, końca oraz długość wykrytej wypowiedzi. Na podstawie tych czasów wyliczany jest środek wypowiedzi, który służy za punkt odniesienia dla poboru próbki o długości 1s przenoszonej do sieci algorytmów neuronowej.

Środek wypowiedzi

Wyjściowa próbka mowy

Wyznaczenie mowy względem całego nasłuchu

27 of 34

Google Speech Recognition API�

Wykonano program Python obsługujący API Speech Recognition od Google. Program posiada zaimplementowane wysyłanie i podtrzymanie danych poprzez poprzez „websocket”. Program zabezpieczono przed sytuacjami gdy zostaną wydane sprzeczne komendy, komenda nie zostanie rozpoznana lub program nie dostanie odpowiedzi z serwera Google. Do wykonania programu wykorzystano bibliotekę SpeechRecognition.

​

28 of 34

Package SpeechRecognition

  1. CMU Sphinx (pracuje offline, przestarzałe)
  2. Google Speech Recognition
  3. Google Cloud Speech API (płatne)
  4. Wit.ai (darmowe, online, z wykorzystaniem API)
  5. Microsoft Bing Voice Recognition(płatne, istnieje wersja demo)
  6. Houndify API (płatne)
  7. IBM Speech to Text (PŁATNE)
  8. Snowboy Hotword Detection (pracuje offline, nie kompatybilny z windows i MyRio

29 of 34

Algorytm działania

30 of 34

Prędkość działania programu dla

poszczególnych komend

31 of 34

Panel sterowania

32 of 34

Film pokazowy

33 of 34

Film pokazowy

34 of 34

DZIĘKUJEMY ZA UWAGĘ