1 of 41

AI Applications for healthcare

Dr. Vincenzo Dentamaro

�Gruppo di ricerca diretto da:�Prof. Giuseppe Pirlo�Prof. Donato Impedovo�

2 of 41

Handwriting Analysis against Neuromuscular Disease (HAND)�

3 of 41

Handwriting Analysis Against Neuromuscular Disease (HAND)

Le malattie neurodegenerative colpiscono le aree del cervello causando un declino fisico, cognitivo e comportamentale che alla fine si traduce in
morte�Demenza�Morbo di Alzheimer�Morbo di Parkinson�

4 of 41

Handwriting Analysis Against Neuromuscular Disease (HAND)

Catturare le manifestazioni di tale declino è cruciale ai fini di:�Diagnosi precoce�Diagnosi differenziale�Monitoraggio del decorso della malattia�Approcci tradizionali per valutare queste malattie:�Analisi del sangue�Analisi delle immagini di risonanza magnetica del cervello�Test neuropsicologici con carta e penna�...�

Tali approcci tradizionali soffrono di:�Errori umani�Valutazioni spesso qualitative (a volte soggettive)�Incapacità di analizzare modelli che sfuggono all'occhio umano�

Motivazioni�

5 of 41

Handwriting Analysis Against Neuromuscular Disease (HAND)

Ciao�Punti orizzontali�Punti verticali�Copia dei quadrati�Firma�le le�mamma in tre quadrati �Frase spontanea (test cognitivo standard)�Frase dettata �Matrici attenzionali (test cognitivo standard)�Trail making test (test cognitivo standard) �Test dell'orologio (test cognitivo standard)�Copia dell’assegno�Copia pentagoni (test cognitivo standard)�Copia a spirale�Contorno a spirale�Seconda firma�

DEMO ?

6 of 41

Handwriting Analysis Against Neuromuscular Disease (HAND)

I sani esibiscono una "strategia di ricerca" molto più lineare e metodica, i malati una "strategia di ricerca" molto più confusa, spesso senza criterio.

�Blu: movimenti sulla superficie�Rosso: movimenti in aria�

Healthy

Sick

Attentional Matrices

Trail making test

Le persone malate tendono ad essere più lente e staccano la penna dalla superficie più volte (anche se esortate a non farlo)�

I pazienti mostrano funzioni esecutive compromesse: conoscenza numerica, memoria visiva, abilità visivo-spaziali, ecc.�

Clock Drawing test

7 of 41

Abbiamo analizzato le matrici attenzionali acquisite da:�57 sani�97 soggetti con demenza�Dai dati grezzi acquisiti dal dispositivo, abbiamo calcolato caratteristiche potenzialmente significative:�Tempo trascorso sulla superficie del tablet�Tempo trascorso in aria�Entropia della componente orizzontale/verticale del movimento�...

Handwriting Analysis Against Neuromuscular Disease (HAND)

Risultati preliminari�

8 of 41

Handwriting Analysis Against Neuromuscular Disease (HAND)

Preliminary Results

Task Name	NASNet Large Accuracy	ResNet 50 Accuracy	Inception V3 Accuracy	Inception ResNet v2 Accuracy	Shallow Learning	Bi directional LSTM w/attention
Check copying	0.72	0.72	0.80	0.78	0.853	0.72
M1	0.68	0.64	0.76	0.74	0.677	0.66
M2	0.65	0.58	0.65	0.69	0.702	0.69
M3	0.67	0.75	0.69	0.58	0.704	0.66
Tmt1	0.76	0.63	0.89	0.74	0.799	0.78
Tmt2	0.59	0.59	0.68	0.74	0.726	0.71
Tmtt1	0.84	0.68	0.64	0.74	0.774	0.86
Tmtt2	0.58	0.71	0.74	0.63	0.858	0.70
All Tasks	0.66	0.70	0.67	0.72	0.923	0.74

9 of 41

Dentamaro, V., Giglio, P., Impedovo, D., & Pirlo, G. (2021, September). Benchmarking of Shallow Learning and Deep Learning Techniques with Transfer Learning for Neurodegenerative Disease Assessment Through Handwriting. In International Conference on Document Analysis and Recognition (pp. 7-20). Springer, Cham.
Loiotile, A. D., Dentamaro, V., Giglio, P., & Impedovo, D. (2021, August). AI-Based Clinical Decision Support Tool on Mobile Devices for Neurodegenerative Diseases. In IFIP Conference on Human-Computer Interaction (pp. 139-148). Springer, Cham.
Dentamaro, V., Impedovo, D., & Pirlo, G. (2021, January). An Analysis of Tasks and Features for Neuro-Degenerative Disease Assessment by Handwriting. In International Conference on Pattern Recognition (pp. 536-545). Springer, Cham.
Impedovo, D., Pirlo, G., Balducci, F., Dentamaro, V., Sarcinella, L., & Vessio, G. (2021). Investigating the Sigma-Lognormal Model for Disease Classification by Handwriting. In THE LOGNORMALITY PRINCIPLE AND ITS APPLICATIONS IN E-SECURITY, E-LEARNING AND E-HEALTH (pp. 195-209).

References

10 of 41

Gait Analysis

11 of 41

Gait Analysis

GAIT CYCLE

12 of 41

Gait Analysis

Upper Body Inclination

Arms Inclination

Knees

Inclination

13 of 41

The sigma-lognormal model

ΣΛ trajectory (left) with the corresponding action plan and the lognormal components (right).

Gait Analysis

14 of 41

Gait Analysis

HC: Nose

PD: Nose

Profilo di movimento e profilo sigma-lognormale

15 of 41

The classification pipeline

16 of 41

Classification

Dopo aver estratto le features da ogni singolo passo di ogni singolo paziente, la classificazione viene effettuata attraverso l'utilizzo di 5 distinti algoritmi di classificazione:�KNN�Random Forest�Adaboost�SVM lineare�SVM con kernel RBF

Accuratezze calcolate in K-Fold Cross Validation��

17 of 41

Accuracy on complete dataset

Algorithm	F1	Sensitivity	Specificity	Precision	Mean Acc
KNN	0.949	0.930	0.968	0.968	0.949
Random Forest	0.942	0.945	0.939	0.943	0.942
Ada Boost	0.932	0.936	0.939	0.943	0.942
Linear SVM	0.955	0.953	0.957	0.959	0.955
RBF SVM	0.954	0.959	0.949	0.952	0.954

18 of 41

Dentamaro, V., Impedovo, D., & Pirlo, G. (2020). Gait analysis for early neurodegenerative diseases classification through the kinematic theory of rapid human movements. IEEE Access, 8, 193966-193980.
Dentamaro, V., Impedovo, D., & Pirlo, G. (2019, September). Real-time neurodegenerative disease video classification with severity prediction. In International Conference on Image Analysis and Processing (pp. 618-628). Springer, Cham.
Convertini, N., Dentamaro, V., Impedovo, D., & Pirlo, G. (2021). Sit-to-Stand Test for Neurodegenerative Diseases Video Classification. International Journal of Pattern Recognition and Artificial Intelligence, 35(12), 2160003.
Cicirelli, G., Impedovo, D., Dentamaro, V., Marani, R., Pirlo, G., & D'Orazio, T. (2021). Human gait analysis in neurodegenerative diseases: a review. IEEE Journal of Biomedical and Health Informatics.

References

19 of 41

Multi-Speed Transformer Network per la valutazione delle malattie neurodegenerative �

L'architettura Multi-Speed Transformer è stata sviluppata per apprendere patterns a breve e a lungo termine per modellare le varie andature patologiche. L'architettura ha raggiunto il 96,9% di accuratezza nella classificazione binaria e il 71,6% in multi-classe. La precisione è stata confrontata anche con le architetture TCN e transformer allo stato dell’arte, nonché con tecniche di apprendimento superficiale che utilizzano l'estrazione delle features e diversi classificatori come Random Forests, K Nearest Neighbors, Ada Boost, Linear e RBF SVM. �

20 of 41

Multi-Speed Transformer

L'intuizione alla base di questa architettura è la capacità di apprendere correlazioni e modelli significativi dipendenti dal tempo a due livelli di scala, veloce e lento. Utilizza il concetto di apprendimento multiscala in cui i dati vengono analizzati a diverse scale. �

21 of 41

Multi-Speed Transformer results

Algorithm	F1	Recall	Precision	Acc	AUC
KNN	0.949	0.930	0.968	0.949	0.951
Random Forest	0.942	0.945	0.943	0.942	0.945
Ada Boost	0.932	0.936	0.943	0.942	0.943
Linear SVM	0.955	0.953	0.959	0.955	0.961
RBF SVM	0.954	0.959	0.952	0.954	0.955
Temporal Convolutional Network	0.917	0.919	0.933	0.919	0.919
Transformer Architecture	0.960	0.960	0.965	0.960	0.960
Multi-Speed Transformer	0.967	0.969	0.977	0.969	0.969

Results on Gait Dataset Binary Classification

22 of 41

Multi-Speed Transformer results

Algorithm	F1	Recall	Precision	Acc	AUC
KNN	0.550	0.587	0.539	0.587	0.682
Random Forest	0.511	0.561	0.491	0.561	0.668
Ada Boost	0.534	0.574	0.529	0.574	0.656
Linear SVM	0.535	0.592	0.520	0.592	0.700
RBF SVM	0.472	0.508	0.461	0.508	0.622
Temporal Convolutional Network	0.640	0.715	0.614	0.715	0.738
Transformer Architecture	0.598	0.689	0.559	0.689	0.613
Multi-Speed Transformer	0.671	0.716	0.677	0.716	0.739

Results on Gait Dataset Multi-Class Classification

23 of 41

Fall Detection�

24 of 41

Datasets

Il primo set di dati utilizzato per gli esperimenti è il Le2i. Contiene 192 video di cadute e 57 video di non cadute (chiamati anche di attività vita quotidiana) girati con una singola fotocamera RGB pronta all'uso con durata che va da 10 a 45 secondi. Il framerate è di 25 FPS con risoluzione 320x240�Il set di dati aggiuntivo utilizzato per gli esperimenti è l'URFD. Questo set di dati contiene 70 sequenze (30 cadute + 40 attività della vita quotidiana)

25 of 41

Same pipeline as Gait

26 of 41

Pose Estimtion

Tutti i video appartenenti al dataset sono stati elaborati attraverso il programma Openpose 1.6.1, che ha permesso di:�Dividi il video in fotogrammi;�Estrapolare lo scheletro della persona presente in ogni fotogramma;�Estrarre le coordinate spaziali di tutte le articolazioni di ogni scheletro.�

27 of 41

Profilo di movimento e profilo sigma lognormale�

Profilo di velocità del naso della persona che non cade�

Profilo di velocità del naso della persona quando cade�

The sigma-lognormal model

28 of 41

Accuracy on Le2i dataset

Work in	Accuracy
[10] and [11]	86.21%
[12]	79.31%
[13]	85.4%
[14]	86.14% with SVM �97.52% with SVDD
[15]	96%
[16]	86.84%.
This Work	98%

29 of 41

Accuracy on URFD dataset

Work in	Accuracy
[29]	89%
[31]	98.57% LSTM on Accelerometer 92.86% RGBD data
[32]	90.53%
[33]	82.85%
This Work	99%

30 of 41

Dentamaro, V., Impedovo, D., & Pirlo, G. (2021, January). Fall Detection by Human Pose Estimation and Kinematic Theory. In 2020 25th International Conference on Pattern Recognition (ICPR) (pp. 2328-2335). IEEE.

References

31 of 41

Parkinson �via Audio

32 of 41

Dataset

Il set di dati contiene ripetizioni sintetizzate delle vocali sostenute /a/ e /i/�ogni vocale è stata registrata almeno due volte�per un totale di 1011 registrazioni�Il set di dati è suddiviso in dati di training e test�modello di separazione inter-paziente

�

33 of 41

AUC ROC comparison

0.93

0.92

0.91

0.79

0.71

34 of 41

Dentamaro V., Giglio P., Impedovo D., Pirlo G., “Markers for neurodegenerative disease assessment through audio”, Submitted

References

35 of 41

COVID-19 via Audio

36 of 41

Auditory Cortex Res-Net for Covid-19 assessment

Auditory Cortex ResNet (AUCO ResNet) è una rete neurale profonda di ispirazione biologica appositamente progettata per la classificazione del suono. �AUCO ResNet ha dimostrato di fornire risultati allo stato dell’arte per la classificazione della tosse e del respiro Covid-19. Inoltre, il suo potere di generalizzazione è dimostrato anche in test cross dataset sia sulla tosse che sui suoni del respiro di Covid-19. �

Conosciamo tutti il Covid-19, ma che dire di una tecnica di pre-screening in grado di trovare la presenza di covid solo da tosse e suoni del respiro utilizzando un normale smartphone?�Auditory Cortex ResNet (AUCO ResNet) è una rete neurale profonda di ispirazione biologica appositamente progettata per la classificazione del suono.�AUCO ResNet ha dimostrato di fornire risultati all'avanguardia su varie attività di classificazione della tosse e del respiro Covid-19. Inoltre, il suo potere di generalizzazione è dimostrato anche in test cross dataset sia sulla tosse che sui suoni del respiro di Covid-19. Significa che è stato addestrato su un set di dati sulla tosse coswara dall'India ed è stato testato su un set di dati sulla tosse e sul respiro di Cambrdige dell'Università di Cambridge dimostrando di essere robusto per i pregiudizi.�

37 of 41

Auditory Cortex Res-Net

Rat Auditory Cortex

Winner of Italy Huawei University Challenge 2021 https://www.linkedin.com/feed/update/urn:li:activity:6876484751914532866/

Si basa sull'intuizione che i mammiferi hanno evoluto la percezione del suono in modo da concentrarsi su alcune frequenze migliori di altre, non udibili dall'orecchio umano nemmeno con un fonendoscopio.

Questa intuizione è codificata dalla presenza di tre meccanismi di attenzione: il meccanismo di squeeze and excitation, il modulo di attenzione a blocchi convoluzionali e la nuova attenzione sinusoidale apprendibile. Quest'ultimo meccanismo di attenzione, la grande area grigia, agisce come l'ipotetico "neurone della nonna" biologico, unendo le informazioni rilevanti provenienti dalle mappe di attivazione a vari livelli della rete e agendo in modo simile alle cellule neuronali piramidali biologiche che sembrano codificare concetti ad alto livello. Inoltre, le bande Mel del mel-spettrogramma sono addestrabili, consentendo alla rete la possibilità di una sintonizzazione fine solo su alcune frequenze importanti.

AUCO ResNet prende in input l'audio grezzo e produce la rispettiva classe, senza preelaborazione, aumento dei dati o generazione manuale dello spettrogramma.

Il modello include elementi presenti anche nella corteccia uditiva biologica dei mammiferi (ratti), come nell'immagine in basso a sinistra.

Ecco alcune somiglianze:

È composto da sei blocchi principali.

Può evolvere la percezione del suono

Ha molti livelli di attenzione

Il numero di neuroni all'interno di ogni stadio ha proporzioni simili ai neuroni trovati nei ratti e funzionalità simili.

38 of 41

COVID-19 via Audio

Model	Accuracy	Precision	Recall	F1 score	AUC ROC
AUCO ResNet non transfer	0.7412	0.6732	0.7412	0.6892	0.6220
AUCO ResNet transfer	0.7688	0.7326	0.7688	0.7098	0.8186
DenseNet 201 non transfer	0.5180	0.5968	0.5180	0.3949	0.5518
DenseNet 201 transfer	0.6315	0.6126	0.6315	0.6027	0.6013
ResNet 50 non transfer	0.5037	0.7506	0.5037	0.3403	0.5634
ResNet 50 transfer	0.5834	0.6956	0.5834	0.4698	0.5821
Inception ResNet V2 non transfer	0.5505	0.5742	0.5505	0.5114	0.5576
Inception ResNet V2 transfer	0.5977	0.5994	0.5977	0.5885	0.6012
Shallow SVM	0.42	0.35	0.42	0.34	0.4234
Shallow Random Forest	0.51	0.53	0.51	0.41	0.5102
Shallow KNN	0.41	0.36	0.41	0.35	0.4132
Brown et al	0.66	0.66	0.67	0.66	0.6221
Bansal et Al	0.62	0.67	0.62	0.64	0.5814
Coppock et al	0.72	0.66	0.72	0.67	0.5253
Imran et al.	0.72	0.59	0.72	0.63	0.641

Cross Dataset results on COVID-19 cough test

39 of 41

Dentamaro, V., Giglio, P., Impedovo, D., Moretti, L., & Pirlo, G. (2022). AUCO ResNet: an end-to-end network for Covid-19 pre-screening from cough and breath. Pattern Recognition, 127, 108656.

References

40 of 41

Deterministic Explainability AI theory

Nel caso del riconoscimento positivo del paziente Covid-19 attraverso l'identificazione audio, proponiamo una teoria la cui implementazione non prevede l'uso di alcun modello surrogato per spiegare quello della scatola nera. Si basa sull'intuizione che poiché un segnale audio è una serie temporale di segnali di ampiezza, mescolando un numero teoricamente infinito di blocchi, cioè pezzi di audio (rispettando la loro posizione temporale), e dando loro un punteggio che esprime quanto l'insieme di blocchi contenga informazioni rilevanti per il modello black-box, è possibile assemblare un nuovo audio composto solo dai blocchi il cui complesso modello di deep learning considera più importante. La funzione converge e abbiamo dimostrato l'esistenza di una singola traccia audio, costruita dall'ingresso, contenente solo le parti di frequenze che la rete neurale considera più importanti ai fini della classificazione.�

41 of 41

vincenzo.dentamaro@uniba.it