Mowa, gest, dane

Infrastruktura CLARIN-PL

w praktyce badań multimodalnych

Katarzyna Klessa

Uniwersytet im. Adama Mickiewicza w Poznaniu

Ludzie. Laboratorium MultiCo. Zakład komunikacji multimodalnej

Maciej Karpiński

Katarzyna Klessa

Ewa Jarmołowicz-Nowikow

Brygida Sawicka-Stępińska

Michał Piosik

Janusz Taborek

Elwira Wilczyńska

& Piotr Wyroślak

….

Dlaczego badania multimodalne?

• Komunikacja jest multimodalna i komunikując się, wykorzystujemy różne modalności zmysłowe np. słuchowe, wzrokowe.
• Prozodia i gestykulacja nie są "dodatkiem" do wypowiedzi, stanowią jej integralną składową.​
• Język funkcjonuje w interakcji - powstał i kształtował się w interakcji, najczęściej w komunikacji twarzą w twarz. Dotyczy to tak rozwoju indywidualnego, jak i ewolucji.​

​

• Wielomodalne badania komunikacji wymagają nie tylko wielomodalnej rejestracji danych, ale także infrastruktury umożliwiającej ich przetwarzanie, analizę i długoterminowe przechowywanie.

​

Co powstaje dla jednej sesji nagraniowej?

• nagrania audio, wideo,
• trajektorie ruchu,
• anotacje w kilku formatach - dla mowy, dla ruchu,
• dane statystyczne...

Wybrane potrzeby infrastrukturalne

• przygotowanie danych do analizy
• dane mowy oraz dane o ruchu ciała, gestach, artykulacji
• kontrola ekspercka
• otwartość, możliwość integracji z narzędziami anotacji mowy
• przetwarzanie lokalne
• duże pliki audio i wideo
• dane wrażliwe
• udostępnianie i długoterminowe przechowywanie
• dane multimodalne (głos i obraz vs. RODO)
• metadane i dokumentacja
• możliwość ponownego wykorzystania zasobów

W projektach multimodalnych pojawia się wiele wyzwań infrastrukturalnych. Obszary w których szczególnie istotne okazało się wsparcie CLARIN-PL:

Różne pytania badawcze, wspólna potrzeba

Różne pytania badawcze, wspólna potrzeba

Desktopowy moduł automatycznej segmentacji wykorzystujący narzędzia CLARIN-PL Mowa zintegrowany z Annotation Pro

www.annotationpro.org

Przed

nagrania: Paralingua (KIessa i in. 2013)

https://youtu.be/duRi9wbl2B8

nagrania: Paralingua (KIessa i in. 2013)

Po

nagrania: Paralingua (KIessa i in. 2013)

Moduł ANNPRO CLARIN-PL w użyciu - przykłady korpusów anotowanych

Moduł ANNPRO CLARIN-PL w użyciu - przykłady korpusów anotowanych

Korpus multimodalny MultiCo

CLARIN-PL dSpace

Korpus MultiCo - zawartość

Łącznie około 15 godzin materiału filmowego wraz z transkrypcją ortograficzną, segmentacją na poziomie wyrazów, sylab i głosek, oraz segmentacją gestykulacji na poziomie fraz gestowych.​

​

Trzy sekcje korpusu - w zależności od sekcji:​

​

• transkrypcja fonematyczna z segmentacją na poziomie głosek, sylab i wyrazów; ​
• opis w kategoriach gestu lub ruchu (np. granice fraz gestowych dla gestów rąk, ruchy głowy);​
• dane z systemu Motion Capture.​

Korpus MultiCo - PERSWAZJA

Mowy perswazyjne i motywacyjne na TEDx Polska oraz wystąpienia sejmowe posłów w debacie na temat pandemii CoVID (łącznie ok. 5 godzin)​

​

Źródła: archiwum sejmowe, archiwum TEDx Polska

Korpus MultiCo - SPORT

Program telewizyjny 4-4-2 ​o tematyce sportowej. Prowadzący (moderator) i troje uczestników (ok. 5 godzin)​

Źródło: TVP Sport

Korpus MultiCo - ZADANIE DIALOGOWE

• Łącznie 80 mówczyń i mówców: 20 par nagranych w warunkach wzajemnego widzenia się, 20 bez wzajemnego widzenia się
• zadanie dialogowe o charakterze symetrycznym (role uczestników są potencjalnie identyczne)​
• każde nagranie trwa około 5 minut

Anotacja mowy i gestu / ruchu ciała w korpusie MultiCo

• Anotacja mowy: ANNPRO + manualna korekta, także z udziałem CLARIN-PL
• Anotacja ruchu: Proces realizowany, zależnie od podkorpusu i sposobu jego rejestracji, manualnie (ELAN) lub z wykorzystaniem specjalistycznego oprogramowania (np. iPi BioMech). ​
• na górze: obraz ze sprzężonych kamer z sensorami głębi,
• na dole: obraz z rekonstrukcją ruchów (off-line) dane numeryczne w postaci graficznej, obraz szkieletu, oraz - nad nim - obrazy z konwencjonalnych kamer.​

Korpus wzbogaceń multimodalnych MultiCo-HUB

CLARIN-PL dSpace

Korpus MultiCo-HUB

Korpus stanowi materiał demonstracyjny dla narzędzi analizy danych Motion Capture. 11 sesji zawierających zsynchronizowane:

• nagrania audio,
• nagrania wideo,
• trajektorie ruchu BVH (motion capture),
• pliki anotacji Annotation Pro (ANTx).

​

Zbiór zawiera sesję treningową (TESM_001) prezentującą ruchy ciała.

​

https://youtu.be/kEuEbLVx_bQ?si=WPJJZSpOkxt7Qg8Y

Korpus MultiCo-HUB - segmentacja mowy (ANNPRO) i ruchu w jednej przestrzeni

https://youtu.be/3MflEsQ-Wm0?si=KtbdBE2Z-1pI7bd8

Korpus MultiCo-HUB

https://akademia.dariah.pl/enrol/index.php?id=40

- jako materiał demonstracyjny dla narzędzi analizy trajektorii ruchu ciała

Korpus MultiCo-HUB - ilustracje / instrukcje użycia

Kolejne wyzwania: od korpusu do inteligentnego asystenta badacza (w toku)

Asystent AI wykorzystujący wiedzę zawartą w wielowarstwowo anotowanych korpusach, odpowiadający na pytania np.:

• Pokaż wszystkie przypadki gestu wskazywania współwystępujące z akcentem frazowym
• Znajdź przykłady wydłużeń sylab w wypowiedziach wyrażających irytację
• Które trajektorie ruchu ciała najczęściej współwystępują z niezgodą?

Podsumowanie

Badania

​

• Narzędzia i procesy: ANNPRO CLARIN-PL wspiera automatyczną segmentację mowy, z zachowaniem możliwości eksperckiej kontroli jakości i przetwarzania danych wrażliwych lokalnie.
• Archiwizacja i udostępnianie: repozytorium CLARIN-PL dSpace publikacja i udostępnianie korpusów multimodalnych.

​

Dydaktyka i rozwój naukowy

​

• studenci i kadra m.in. specjalności: Lingwistyka komputerowa (I st.) oraz ELLDo: Empirical Linguistics & Language Documentation (II st.)

Zaproszenie

• This special session focuses on the FAIR sharing of speech disorders corpora in advancing research, clinical practice, and interdisciplinary collaboration.

Dziękuję za uwagę!

​

Kontakt

​

klessa@amu.edu.pl

www.katarzyna.klessa.pl

Katarzyna.klessa.pl

Literatura

• Karpiński, M., Klessa, K., Jarmołowicz-Nowikow, E., Taborek, J., Sawicka-Stępińska, B., & Piosik, M. (2023). MultiCo [Data set]. CLARIN-PL Digital Repository. http://hdl.handle.net/11321/942
• Klessa, K., Karpiński, M., Jarmołowicz-Nowikow, E., Sawicka-Stępińska, B., & Klessa, W. (2025). MultiCo-Hub: A corpus of multimodal enrichments with motion-trajectory annotation [Data set]. CLARIN-PL Digital Repository. http://hdl.handle.net/11321/964
• Klessa, K., Koržinek, D., Sawicka-Stępińska, B., & Kasperek, H. (2022). ANNPRO: A desktop module for automatic segmentation and transcription. In Human Language Technology: Challenges for Computer Science and Linguistics. Springer.
• Klessa, K., Karpiński, M., & Wagner, A. (2013). Annotation Pro – A new software tool for annotation of linguistic and paralinguistic features. In B. Bigi & D. Hirst (Eds.), Proceedings of TRASP 2013: Tools and Resources for the Analysis of Speech Prosody. Aix-en-Provence, France.
• Koržinek, D., Marasek, K., Brocki, Ł., & Wołk, K. (2017). Polish read speech corpus for speech tools and services. In Selected Papers from the CLARIN Annual Conference 2016 (pp. 54–62). Linköping University Electronic Press.
• Lorenc, A., Król, D., Klessa, K., Mik, Ł., & Borowiec, A. (2025). Developing acoustic field distribution analysis tools for noninvasive assessment of laterality and nasality in disordered and typical pronunciation. Clinical Linguistics & Phonetics, 39(9).
• Müller, C., Karpiński, M., Kindler-Mathôt, C., Klessa, K., Jarmołowicz-Nowikow, E., Junge, J., Papadopoulou, K., & Sawicka-Stępińska, B. (2024). Affectivity as stance: Multimodal stance-taking in audiovisual documentations of Polish and German parliamentary debates. Frontiers in Psychology, 15, Article 1467185. https://doi.org/10.3389/fpsyg.2024.1467185

2025-2027

w ramach Funduszy Europejskich dla Nowoczesnej Gospodarki 2021-2027, priorytet 2. „Środowisko sprzyjające innowacjom”, nabór „FENG.02.04-IP.04-001/24 Badawcza Infrastruktura Nowoczesnej Gospodarki – ścieżka dla projektów z PMIB

​

2024-2026

w ramach projektu pt.: „Wniesienie wkładu własnego do europejskiej infrastruktury badawczej “CLARIN ERIC – European Research Infrastructure Consortium: Common Language Resources and Technology Infrastructure - Wspólne Zasoby Językowe i Infrastruktura Technologiczna” na lata 2024-2026” dofinansowanego przez Ministra Nauki na podstawie umowy nr 2024/WK/01 w ramach programu „Wsparcie udziału polskich zespołów naukowych w międzynarodowych projektach infrastruktury badawczej.

​

2020-2023

w ramach Programu Operacyjnego Inteligentny Rozwój 2014-2020, Priorytet IV: Zwiększenie potencjału naukowo-badawczego, Działanie 4.2: Rozwój nowoczesnej infrastruktury badawczej sektora nauki, nr POIR.04.02.00-00C002/19, CLARIN - Wspólne zasoby językowe i infrastruktura technologiczna".

​

​

Finansowanie

Omówione projekty wykorzystujące elementy infrastruktury CLARIN-PL

​

• Cyfrowa Infrastruktura Badawcza dla Humanistyki i Nauk o Sztuce DARIAH-PL
• Fundusze Europejskie Krajowy Plan Odbudowy (KPO). Projekt nr: KPOD.01.18-IW.03-0013/23. Nazwa: Cyfrowa Infrastruktura Badawcza dla Humanistyki i Nauk o Sztuce DARIAH-PL (kier. w UAM K. Klessa)
• Program Operacyjny Inteligentny Rozwój 2014-2020 w obszarze Rozwój nowoczesnej infrastruktury badawczej sektora nauki. Narodowe Centrum Badań i Rozwoju. Projekt nr: POIR.04.02.00-00-D006/20 (kier. w UAM B. Sawicka-Stępińska)
• Mowa kierowana do dzieci i dorosłych: badanie wstępne z użyciem artykulografu Carstens AG501. Projekt finansowany przez NCN w konkursie Miniatura, nr 2018/02/X/HS2/03593) (kier. K. Klessa)
• Projekt nr 2021/43/B/HS2/00162 pt. Badanie mowy zaburzonej i funkcji prymarnych za pomocą artykulografu CARSTENS AG501 i analizatora rozkładu pola akustycznego, finansowany przez Narodowe Centrum Nauki (kier. A. Lorenc)

Finansowanie

https://annotationpro.org/plugins/

https://github.com/CLARIN-PL/speech-annotationpro-plugin/releases/tag/v2.0